【機械学習】決定木(decision tree)について。
公開日:
:
機械学習 desicion tree, Entropy, エントロピー, 決定木
教師あり学習の一つである決定木(desicion tree)について勉強したことを書いていきます。
決定木の特徴
決定木の特徴は、以下のようになります。
- フローチャートのようなもので、If-then ルールの集合で出力を決定する。
- Eager learning の一つで、事前の学習が必要だが、一旦学習すれば利用時は高速である。
- 人間にとって理解しやすい情報抽出が行われる。
決定木の学習
決定木では、(例えば2クラス分類の場合)正例と負例が混ざっている状況を「乱雑である」と表現します。そして、学習の際は、どんな条件で分割すると正例と負例が綺麗に分かれて整理され、乱雑さを小さくできるかを考えます。で、この乱雑さを定量化したものをエントロピーといい、このエントロピーを最小化するように学習していきます。
エントロピーは、正例の場合を \(P_+\) 負例の場合を \(P_-\) と書き、
$$Entropy = -P_+log{2}P_+-P_-log{2}P_-$$
と定義されます。
正例と負例が綺麗に分かれている(pが0や1に近い)ほど、エントロピーの値は0に近づき、逆に乱雑(pが0.5に近い)であるほど、エントロピーの値は1に近づきます。
関連記事
-
-
【Weka】欠損データを自動的に補完するフィルタを使ってみた。
機械学習で用いるデータについてです。データは完璧なことに越したことはないが、通常は、ある属性の値が入
-
-
【深層学習】 TensorFlow と Keras をインストールする【Python】
今回は、Google Colaboratory 上で、深層学習(DeepLearning)フレームワ
-
-
【転移学習】学習済みVGG16 による転移学習を行う方法【PyTorch】
今回は、PyTorch を使って、学習済みのモデル VGG16 を用いて転移学習をしてみました。
-
-
【Weka】フリーの機械学習ソフトをインストールする方法。
Weka は、GUIで使えるフリーの機械学習ソフトです。 https://ja.wikiped
-
-
【機械学習・手法比較】決定木とナイーブベイズを比較してみた。
同じデータを使って、教師有り機械学習手法の 決定木(Decision Tree)とナイーブベイズ(N
-
-
【Chainer】手書き数字認識をしてみた【Deep Learning】
Chainerを用いて、ニューラルネットワークを構築し、手書き数字認識を行ったときのメモです。
-
-
【機械学習】パーセプトロン(Perceptron)について。
パーセプトロンは、教師あり学習の中でも、入出力モデルベース(eager learning:働き者の学
-
-
【TensorFlow】GPUを認識しない時の対処方法【Python】
TensorFlow で GPU を認識させようとしたときにハマってしまったので、その対処方法のメモ
-
-
【Weka】ARFF 形式から CSV 形式に簡単に変換する方法。
フリーのデータマイニングツールである WEKA では、ARFF 形式と CSV 形式のデータを読み込
-
-
【PyTorch】ニューラルネットワークを構築する方法【NN】
今回は、PyTorch を使って、ニューラルネットワーク(NN)を構築したときのメモです。 フ