【機械学習】決定木（decision tree）について。

教師あり学習の一つである決定木（desicion tree）について勉強したことを書いていきます。

決定木の特徴

決定木の特徴は、以下のようになります。

• フローチャートのようなもので、If-then ルールの集合で出力を決定する。
• Eager learning の一つで、事前の学習が必要だが、一旦学習すれば利用時は高速である。
• 人間にとって理解しやすい情報抽出が行われる。

決定木の学習

決定木では、（例えば２クラス分類の場合）正例と負例が混ざっている状況を「乱雑である」と表現します。そして、学習の際は、どんな条件で分割すると正例と負例が綺麗に分かれて整理され、乱雑さを小さくできるかを考えます。で、この乱雑さを定量化したものをエントロピーといい、このエントロピーを最小化するように学習していきます。

エントロピーは、正例の場合を \(P_+\)  負例の場合を \(P_-\) と書き、

$$Entropy = -P_+log{2}P_+-P_-log{2}P_-$$

と定義されます。

正例と負例が綺麗に分かれている（ｐが０や１に近い）ほど、エントロピーの値は０に近づき、逆に乱雑（ｐが0.5に近い）であるほど、エントロピーの値は１に近づきます。