【機械学習】決定木(decision tree)について。

教師あり学習の一つである決定木(desicion tree)について勉強したことを書いていきます。

決定木の特徴

決定木の特徴は、以下のようになります。

  • フローチャートのようなもので、If-then ルールの集合で出力を決定する。
  • Eager learning の一つで、事前の学習が必要だが、一旦学習すれば利用時は高速である。
  • 人間にとって理解しやすい情報抽出が行われる。

決定木の学習

決定木では、(例えば2クラス分類の場合)正例と負例が混ざっている状況を「乱雑である」と表現します。そして、学習の際は、どんな条件で分割すると正例と負例が綺麗に分かれて整理され、乱雑さを小さくできるかを考えます。で、この乱雑さを定量化したものをエントロピーといい、このエントロピーを最小化するように学習していきます。

エントロピーは、正例の場合を \(P_+\)  負例の場合を \(P_-\) と書き、

$$Entropy = -P_+log{2}P_+-P_-log{2}P_-$$

と定義されます。

正例と負例が綺麗に分かれている(pが0や1に近い)ほど、エントロピーの値は0に近づき、逆に乱雑(pが0.5に近い)であるほど、エントロピーの値は1に近づきます。

関連記事

【機械学習】モンテカルロ法(Monte Carlo method)について。

モンテカルロ法(Monte Carlo method)とは、シュミレーションや数値計算を乱数を用いて

記事を読む

【Weka】ARFF 形式から CSV 形式に簡単に変換する方法。

フリーのデータマイニングツールである WEKA では、ARFF 形式と CSV 形式のデータを読み込

記事を読む

【Weka】欠損データを自動的に補完するフィルタを使ってみた。

機械学習で用いるデータについてです。データは完璧なことに越したことはないが、通常は、ある属性の値が入

記事を読む

【Weka】アソシエーション・ルール(association rule)【機械学習】

フリーの機械学習ツール Weka でアソシエーション・ルール(association rule)を使

記事を読む

【Weka】CSVファイルを読み込んで決定木を実行。

フリーの機械学習ソフト Weka を使って、CSVファイルを読み込んで決定木(Decision Tr

記事を読む

【探索】ダイクストラ法・最良優先探索・Aアルゴリズムの比較。

縦型探索や横型探索では、機械的に順序を付け、最小ステップでゴールを目指します。 つまり、

記事を読む

【機械学習・手法比較】決定木とナイーブベイズを比較してみた。

同じデータを使って、教師有り機械学習手法の 決定木(Decision Tree)とナイーブベイズ(N

記事を読む

【探索】縦型・横型・反復深化法の探索手法の比較。

探索とは、チェスや将棋や囲碁などのゲームをコンピュータがプレイするときに、どの手を指すかを決定するの

記事を読む

【画像認識】 Google画像検索結果を取得する方法 【google image download】

今回は、深層学習(DeepLearning)で画像認識をするための画像データの収集を、Google画

記事を読む

【機械学習】パーセプトロン(Perceptron)について。

パーセプトロンは、教師あり学習の中でも、入出力モデルベース(eager learning:働き者の学

記事を読む

Message

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

【Python】 DataFrame の特定の列で出現回数をカウントして降順でソートする方法。

Python で DataFrame 型の特定の列を指定して、対象列の

【テキストマイニング】 Amebaブログからデータ取得するための準備。

テキストマイニングを行うために、Ameba ブログ(アメブロ)のデータ

【Linux】 ローカルに Python をインストールする方法。

今回は、Linux サーバに、root 権限なしで、ローカルに Pyt

【Linux】 ファイルの重複した行を削除して、ファイルを結合する方法。

大容量の CSV ファイルの重複した行を削除して、ファイルを結合する処

【画像認識】 Google画像検索結果を取得する方法 【google image download】

今回は、深層学習(DeepLearning)で画像認識をするための画像

→もっと見る

PAGE TOP ↑