【機械学習】決定木（decision tree）について。
公開日：
:
機械学習 desicion tree, Entropy, エントロピー, 決定木
教師あり学習の一つである決定木（desicion tree）について勉強したことを書いていきます。
決定木の特徴
決定木の特徴は、以下のようになります。
- フローチャートのようなもので、If-then ルールの集合で出力を決定する。
- Eager learning の一つで、事前の学習が必要だが、一旦学習すれば利用時は高速である。
- 人間にとって理解しやすい情報抽出が行われる。
決定木の学習
決定木では、（例えば２クラス分類の場合）正例と負例が混ざっている状況を「乱雑である」と表現します。そして、学習の際は、どんな条件で分割すると正例と負例が綺麗に分かれて整理され、乱雑さを小さくできるかを考えます。で、この乱雑さを定量化したものをエントロピーといい、このエントロピーを最小化するように学習していきます。
エントロピーは、正例の場合を \(P_+\) 負例の場合を \(P_-\) と書き、
$$Entropy = -P_+log{2}P_+-P_-log{2}P_-$$
と定義されます。
正例と負例が綺麗に分かれている（ｐが０や１に近い）ほど、エントロピーの値は０に近づき、逆に乱雑（ｐが0.5に近い）であるほど、エントロピーの値は１に近づきます。
関連記事
-
-
【Weka】ARFF 形式から CSV 形式に簡単に変換する方法。
フリーのデータマイニングツールである WEKA では、ARFF 形式と CSV 形式のデータを読み込
-
-
【探索】ダイクストラ法・最良優先探索・Aアルゴリズムの比較。
縦型探索や横型探索では、機械的に順序を付け、最小ステップでゴールを目指します。 つまり、
-
-
【機械学習】 scikit-learn で精度・再現率・Ｆ値を算出する方法【Python】
今回は、２クラス分類で Python の scikit-learn を使った評価指標である、精度（P
-
-
【画像認識】 Google画像検索結果を取得する方法 【google image download】
今回は、深層学習（DeepLearning）で画像認識をするための画像データの収集を、Google画
-
-
【Weka】CSVファイルを読み込んで決定木を実行。
フリーの機械学習ソフト Weka を使って、CSVファイルを読み込んで決定木（Decision Tr
-
-
【探索】縦型・横型・反復深化法の探索手法の比較。
探索とは、チェスや将棋や囲碁などのゲームをコンピュータがプレイするときに、どの手を指すかを決定するの
-
-
【機械学習】 scikit-learn で不正解データを抽出する方法【Python】
Python の scikit-learn ライブラリを使って機械学習でテストデータを識別（２クラス
-
-
【機械学習】パーセプトロン（Perceptron）について。
パーセプトロンは、教師あり学習の中でも、入出力モデルベース（eager learning：働き者の学
-
-
【機械学習】モンテカルロ法（Monte Carlo method）について。
モンテカルロ法（Monte Carlo method）とは、シュミレーションや数値計算を乱数を用いて
-
-
機械学習の手法のまとめ。
機械学習は、「与えられた入出力事例をモデル化する行為」のことで、ディープラーニングなどで注目を集めて
