【機械学習】 scikit-learn で精度・再現率・Ｆ値を算出する方法【Python】

今回は、２クラス分類で Python の scikit-learn を使った評価指標である、精度（Precision）、再現率（Recall）、Ｆ値（F-measure）について調べてみました。

混同行列（Confusion matrix）

２クラス分類で、精度や再現率を求めるときに必要になってくるのが、TP、TN、FP、FN という概念です。これらの４つは分類時の結果からいずれかに分けられるのですが、それを表形式で表したのが混同行列（Confusion matrix）になります。

この例では、「same」「diff」の２クラス分類結果を表しています。

２クラス分類では、陽性（Positive）であるクラスを決めないといけません。

今回は「diff」クラスを陽性として扱っています。ちなみに残りのクラスを陰性クラスと呼びます。

scikit-learn で陽性クラスを指定するには、labels で与えます。

[‘same’, ‘diff’] として、後ろに与えたラベルが陽性クラスの扱いになるようです。

そうすると、以下のように４つの分類が割り当てられます。

• TP（True Positive）：陽性（diff）と予測した中で実際に陽性（diff）
• TN（True Negative）：陰性（same）と予測した中で実際に陰性（same）
• FP（False Positive）：陽性（diff）と予測した中で実際は陰性（same）
• FN（False Negative）：陰性（same）と予測した中で実際は陽性（diff）

少し混乱しそうですが、True がつけば 正解 を表して、Positive が 陽性クラス を表しています。

TP、TN、FP、FN の数をそれぞれ取得するには、flatten 関数を使います。

結果は、以下のようになります。

精度（Precision）

精度（Precision）は、適合率や正確性などともいいます。

精度は「識別器が陽性と判断したもののうち、正しく陽性と判断した割合」を表します。

式で書くと「TP/(TP+FP)」となります。

検索エンジンの例でたとえると、「ある検索ワードで検索してヒットした件数のうち、欲しい（正しい）ページの件数」といえます。

scikit-learn では precision_score で精度を算出することができます。

正解ラベルは、テストデータの正解ラベル（same or diff）になります。

今回は Series 型になっています。

予測ラベルは、テストデータについて分類器が予測したラベル（same or diff）になります。

今回は リスト型になっています。

正解ラベルと予測ラベルは、Series型でもリスト型でもどちらでも問題ないようです。

以下のようなエラーがでました。

これは、ラベルデータ（pos_label）がデフォルトでは「1」となっているため、陽性のラベル（diff）を明示する必要があります。

結果は、無事に以下のように出力されました。

再現率（Recall）

再現率（Recall）は、網羅性を表している指標です。

「テストデータの実際に陽性のデータのうち、正しく陽性と判断した割合」を表します。

式で書くと「TP/(TP+FN)」となります。

検索エンジンの例で例えると、「あるワードで検索して、欲しい情報が手に入る件数のうち、実際に正しく得られた件数」といえます。

scikit-learn では recall_score で再現率を算出することができます。

結果は以下のとおり。

Ｆ値（F-measure）

Ｆ値（F-measure）は、精度と再現率を合わせたものになります。

scikit-learn では f1_score でF値を算出することができます。

結果は以下のとおり。