【機械学習】パーセプトロン（Perceptron）について。

パーセプトロンは、教師あり学習の中でも、入出力モデルベース（eager learning：働き者の学習）に分類され、その中で最も単純なモデルとなります。

パーセプトロンの特徴

パーセプトロンには、以下の特徴があります。

• ２値クラス分類のみに対応している（多クラス分類には適応できない）。
• 学習データが線形分離可能（linearly separable）であれば、それらを正しく２値クラスに分離する平面をみつけることができます。線形分離なので、例えば２次元の場合は、直線で分離可能だということになる。
• 重みベクトルから重要な特徴量（識別に効いている）が推測できる。
• 線形分離可能でないと性能が落ちる。そのため、パーセプトロンを組み合わせて使うとニューラルネットワークになる。

パーセプトロンで用いる定義について

パーセプトロンで用いる記号をここで定義しておきます。

パーセプトロンは２値クラス分類なので、出力 \(y(x)\)  は正例（＋１）もしくは負例（－１）の２種類となります。

$$出力　y(x)=f(w^T\phi(x))$$

$$\phi(x)：特徴ベクトル$$

$$w：重みベクトル$$

$$階段関数　f(a)=\{+1, a\geq0\\－1,a<0\}$$

事例 X の 特徴ベクトルを \(\phi(x)\) とします。ただし、特徴ベクトルの要素の１番最初にバイアス要素である \(\phi_0(x)=1\) を追加したものを \(\phi(x)\) とします。ちなみに「\(\phi\)」は Phi と読みます。

出力 \(y(x)\) は、重みベクトル \(w\) と特徴ベクトル \(\phi(x)\) の内積が０以上か０未満かで判定されます。

階段関数は、＋１か－１かを出力するために用いられます。

重みベクトルを以下のアルゴリズムで学習していきます。

パーセプトロンの学習アルゴリズム

パーセプトロンの学習アルゴリズムは単純な作業の繰り返しとなります。

1. 重みベクトルを \(w=(0,0,0,…)\) で初期化する。
2. 学習データからランダムに事例を選択する。
3. 分類が間違っていたら以下の式で重みベクトルを更新する。
   • 正例が正解なのに間違っていた場合：\( w ← w + \phi(x) \)
   • 負例が正解なのに間違っていた場合：\( w ← w － \phi(x) \)
4. 2に戻る。（※全ての事例が正しく分類できるまで繰り返す。）

平均化パーセプトロン（Averaged Perceptron）

通常のパーセプトロンでは、ノイズが含まれる場合、振動して不安定となります。また、学習の最後の方で選んだサンプルに引きずられやすいというデメリットがあります。

それらのデメリットを補うなために、パーセプトロンの学習アルゴリズムを少しだけ変形したものが平均化パーセプトロンです。分類が間違っていたときの重みベクトル更新部分で、重みベクトルをそのまま使うのではなく、全ステップの重みベクトルを平均したものを使います。

そうすることによって、ロバストな挙動を示す、実用的で高性能な機械学習アルゴリズムになります。