AI用語メモ

• 畳み込みニューラルネットワーク[編集]

  畳み込みニューラルネットワーク (Convolutional Neural Networks: CNN) とは、全結合していない順伝播型ニューラルネットワークの一種。特に2次元の畳込みニューラルネットワークは人間の視覚野のニューロンの結合と似たニューラルネットワークであり、人間の認知とよく似た学習が行われることが期待される。結合がスパースであるため、全結合しているニューラルネットワークに比べて学習が高速である。

  1979年に福島邦彦が発表したネオコグニトロンから発展し、1988年に Homma Toshiteru らが音素の認識に^[15]、1989年に Yann LeCun らが文字画像の認識に使用し^[16][17]、1998年に LeCun らが発表した LeNet-5 へと続き、2012年に ILSVRC での物体カテゴリ認識で優勝したアルゴリズムも深層畳み込みニューラルネットワークである^[18]。ネオコグニトロンの時から深層であったが、近年は深層であることを強調するため、深層が頭につき、深層畳み込みニューラルネットワークと呼ばれる事もある。自然言語処理に対する応用もなされはじめた。

• パーセプトロン

学習方法のコンセプトは簡単で、間違えたらwの値を後述の式により更新していき、間違いがなくなるまで更新を続ける。学習データの系列を下記のように定義する。

X={X1,X2,...,XM}M:データ数$$\begin{gathered} X=\{X_1,X_2,...,X_M\} \\ M:データ数 \end{gathered}$$

ここで、誤分類された学習データの集合を下記のように表記する。

Xn={x1,x2,...,xn}$$X_n=\{x_1,x_2,...,x_n\}$$

クラス1のデータに対し、f(x) > 0,クラス2のデータに対し、f(x) < 0となるような重みwを求めたい。この場合、教師ラベルt={+1,-1}を用いると、全てのデータは下記を満たす。

wTxiti>0$$w^T{x}_i{t}_i>0$$

正しく分類されたデータに対し、誤差0を割り当てるような下記の誤差関数E(・)が考えられる。

E(w)=−∑n∈XwTxntn$$E(w)=-\sum _{n\in X}{w}^T{x}_n{t}_n$$

これを最小化する(0になる)ように、wの値を設定すれば、上手く分類できる。
この最小化する手法として、確率的勾配降下法を利用する。
確率的勾配降下法は誤差関数が今回のE(w)のようにデータ点の和からなっている場合、データnが与えられたとき、下記の計算によりwを更新する。

w(r+1)=w(r)−μ∇Enr：繰り返しの回数、μ：学習率パラメータw(r):r回更新した後の重みw$$\begin{gathered} w^{(r+1)}=w^{(r)}-\mu \mathrm{\nabla }{E}_n \\ r：繰り返しの回数、\mu ：学習率パラメータ \\ {w}^{(r)}:r回更新した後の重みw \end{gathered}$$

上記から、下記のように更新式が導出できる。

w(r+1)=w(r)−μ∇E(w)=w(r)+μxntn$$\begin{gathered} w^{(r+1)}=w^{(r)}-\mu \mathrm{\nabla }E(w) \\ =w^{(r)}+\mu x_n{t}_n \end{gathered}$$

wの値次第で、データが誤分類されてしまうような領域内では、tの値が+1のときでも-1のときでも、誤分類されたデータの誤差E(w)への寄与は線形関数となる。
また、wの値次第で、データが正しく分類される領域内ではデータの誤差E(w)への寄与は0である。
したがって、E(w)は区分線形関数である。
そのため、E(w)の勾配は下記のように計算されている。

E(w)=∂E(w)∂w=xntn$$\begin{gathered} E(w)=\frac{\mathrm{\partial }E(w)}{\mathrm{\partial }w} \\ =x_n{t}_n \end{gathered}$$