LeNet

LeNet-5は何のために作られたか

LeNet-5は、Yann LeCunが自身のウェブページで「手書き文字と印刷文字の認識のために設計した、最新の畳み込みネットワーク」と紹介しているモデルです。畳み込みとは、画像の小さな範囲ごとに同じ計算を当てはめて特徴を取り出す処理のことです。LeNet-5は、この畳み込みを使うネットワークを文字の認識に当てはめたものです。

畳み込みニューラルネットワークとしての位置づけ

同じページは、畳み込みニューラルネットワークを多層ニューラルネットワークの特別な種類と説明しています。学習には、ほかの多くのニューラルネットワークと同じく誤差逆伝播法の一種を使います。誤差逆伝播法とは、出力の誤差を出力側から入力側へさかのぼって伝え、各部分の重みを調整する学習の方法です。ほかのネットワークとの違いはアーキテクチャ、つまり層の並べ方やつなぎ方といったネットワークの構造にあるとされています。

また、畳み込みニューラルネットワークは、ピクセル画像から視覚パターンを直接認識するよう設計されており、必要な前処理は最小限だと書かれています。前処理とは、認識の前に入力データを整えたり特徴を手作業で取り出したりする処理のことです。手書き文字のように形の変化が大きいパターンも認識でき、歪みや単純な幾何学的変換にも頑健だとされています。

LeCunのページが示すデモと原論文

LeCunのページには、移動、拡大縮小、回転、つぶし、線の太さの変化、ノイズへの耐性、複数の文字を扱うデモが見出しとして並んでいます。ここで確かめたのは見出しの名前だけで、デモの結果の数値は確かめていません。

原論文として同ページが挙げているのは、LeCun、Bottou、Bengio、Haffnerによる Gradient-based learning applied to document recognition(Proceedings of the IEEE、1998年11月)です。この解説は原論文の本文を読んでいません。層の数、フィルタの大きさ、データセットでの精度、LeNet-5以外の版については、ここでは扱いません。