Subscribed unsubscribe Subscribe Subscribe

AI用語メモ

 

学習方法のコンセプトは簡単で、間違えたらwの値を後述の式により更新していき、間違いがなくなるまで更新を続ける。学習データの系列を下記のように定義する。

X={X1,X2,...,XM}M:

ここで、誤分類された学習データの集合を下記のように表記する。

Xn={x1,x2,...,xn}

クラス1のデータに対し、f(x) > 0,クラス2のデータに対し、f(x) < 0となるような重みwを求めたい。この場合、教師ラベルt={+1,-1}を用いると、全てのデータは下記を満たす。

wTxiti>0

正しく分類されたデータに対し、誤差0を割り当てるような下記の誤差関数E(・)が考えられる。

E(w)=nXwTxntn

これを最小化する(0になる)ように、wの値を設定すれば、上手く分類できる。
この最小化する手法として、確率的勾配降下法を利用する。
確率的勾配降下法は誤差関数が今回のE(w)のようにデータ点の和からなっている場合、データnが与えられたとき、下記の計算によりwを更新する。

w(r+1)=w(r)μEnrμw(r):rw

上記から、下記のように更新式が導出できる。

w(r+1)=w(r)μE(w)=w(r)+μxntn

wの値次第で、データが誤分類されてしまうような領域内では、tの値が+1のときでも-1のときでも、誤分類されたデータの誤差E(w)への寄与は線形関数となる。
また、wの値次第で、データが正しく分類される領域内ではデータの誤差E(w)への寄与は0である。
したがって、E(w)は区分線形関数である。
そのため、E(w)の勾配は下記のように計算されている。

E(w)=E(w)w=xntn

 

Remove all ads