畳み込み操作

畳み込み操作とは何か

畳み込み操作とは、カーネル(kernel)と呼ばれる小さな重みの並びを入力の上で位置をずらしながら当てはめ、入力の値とカーネルの値を掛け合わせて足し合わせる演算です。出力の位置1つにつき「入力の値とカーネルの値の積の和」を1つ計算し、その値を位置の順に並べたものが出力になります。

この語が指すのは演算そのものです。この演算を使って入力から特徴マップを作る層は畳み込み層と呼ばれ、層としての性質(パラメータの数や全結合層との違い)は畳み込み層の項目で扱います。

このページの式と用語は、イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・カービル(Aaron Courville)による教科書「Deep Learning」(2016年)の第9章に沿っています。

1次元の離散畳み込みの式

入力が1次元の並びのとき、離散的な畳み込みは次の式で表されます。

$$s(t)=(x\ast w)(t)=\sum _{a}x(a)w(t-a)$$

$x$ は入力、$w$ はカーネル、$s$ は出力です。$\ast$ は畳み込みを表す記号で、掛け算の記号ではありません。$t$ は出力を求める位置、$a$ は入力の位置を表し、和は $a$ のとりうる値すべてについて取ります。

式の中で、カーネルの位置が $t-a$ になっている点に注目してください。出力の位置 $t$ を決めたとき、入力の位置 $a$ が1つ大きくなると、組になるカーネルの位置 $t-a$ は1つ小さくなります。つまりカーネルは、前後を反転した向きで入力に重ねられます。この反転が、数学上の畳み込みの特徴です。

カーネルは少数の位置にだけ値を持ち、それ以外の位置の値は0とみなします。そのため、1つの出力 $s(t)$ の計算に関わる入力は、位置 $t$ の近くにある少数の値だけです。画像のような2次元の入力でも考え方は同じで、カーネルも縦横に並んだ重みになり、縦と横の2方向について積の和を取ります。

数値を使った計算例

以下の数値は説明のために作った架空の例です。入力を $x(0)=1$、$x(1)=3$、$x(2)=0$、$x(3)=2$、$x(4)=4$ の5個とし、カーネルを $w(0)=2$、$w(1)=1$、$w(2)=-1$ の3個とします。$w$ はこの3つの位置以外では0です。

カーネルが0でない項だけを残すと、式は次のようになります。

$$s(t)=x(t)w(0)+x(t-1)w(1)+x(t-2)w(2)=2x(t)+x(t-1)-x(t-2)$$

計算に必要な入力の3つの値がすべてそろう位置は、$t=2,3,4$ の3か所です。

$s(2)=2\times 0+3-1=2$

$s(3)=2\times 2+0-3=1$

$s(4)=2\times 4+2-0=10$

出力は2、1、10の並びになります。$s(4)$ の計算を項ごとに見ると、入力の $x(4)=4$ にはカーネルの $w(0)=2$ が、$x(3)=2$ には $w(1)=1$ が、$x(2)=0$ には $w(2)=-1$ が掛けられています。入力の並びで右にある値ほど、カーネルの並びでは左にある値と組になっており、カーネルが反転して重なっていることが数値でも確かめられます。

出力の大きさは、大きな重みが掛かる位置の入力が大きいかどうかで決まります。この例では重み2が掛かる入力 $x(4)$ が4と大きいので、$s(4)$ が10と大きくなりました。反対に、重み $-1$ が掛かる位置の入力が大きいと、出力は小さくなります。

入力が5個、カーネルが3個のとき、入力の端からはみ出さずに計算できる出力は $5-3+1=3$ 個です。

実装で使われる相互相関との関係

カーネルを反転せず、そのままの向きで入力に重ねる演算は、相互相関(cross-correlation)と呼ばれます。1次元の式で書くと次のとおりです。

$$c(t)=\sum _{a}x(t+a)w(a)$$

「Deep Learning」第9章は、多くの機械学習ライブラリが実際に実装しているのはこの相互相関であり、それを畳み込みと呼んでいると述べています。同書自身もこの呼び方の慣例に従い、カーネルを反転するかどうかが問題になる文脈でだけ両者を区別しています。つまり実装上は、カーネルを反転しない相互相関が使われることが多いということです。

先ほどと同じ入力とカーネルで相互相関を計算すると、式は $c(t)=2x(t)+x(t+1)-x(t+2)$ となり、次の値が得られます。

$c(0)=2\times 1+3-0=5$

$c(1)=2\times 3+0-2=4$

$c(2)=2\times 0+2-4=-2$

出力は5、4、$-2$ の並びになり、畳み込みの結果である2、1、10とは異なります。一方、カーネルの並びを前後反転した $-1$、1、2を使って相互相関を計算すると、$-1+3+2\times 0=2$、$-3+0+2\times 2=1$、$0+2+2\times 4=10$ となり、畳み込みの結果と一致します。2つの演算の違いは、カーネルを反転して重ねるかどうかだけです。

畳み込み層・ストライド・パディングとの関係

畳み込み層は、この演算を使って入力から特徴マップを作る層です。畳み込み層の項目で説明しているとおり、畳み込み層ではカーネルの値を学習によって求めます。

ストライドは、畳み込みの出力から $s$ 個ごとに1つを取り出す間引きの幅です。同書は、畳み込みの出力から $s$ 個ごとに1つを取り出して間引く操作を示し、この間引きの幅 $s$ をストライドと呼んでいます。上の計算例の出力2、1、10をストライド2で間引くと、2個ごとに1つを取り出した2と10の2個が残ります(1つ飛ばしで残ることになります)。

パディングは、入力の端の外側に値を補う処理で、0を補うものをゼロパディングと呼びます。同書によると、ゼロパディングを使わない場合、入力の幅を $m$、カーネルの幅を $k$ とすると出力の幅は $m-k+1$ になり、層を重ねるたびに出力が縮みます。上の計算例で出力が3個になったのは、この場合にあたります。ゼロパディングを使うと、カーネルの幅と出力の大きさを別々に決められます。

誤解しやすい点

手で計算するときは、カーネルを反転するかどうかで結果が変わります。上の例では、同じ入力とカーネルから畳み込みでは2、1、10が、相互相関では5、4、$-2$ が得られました。ライブラリの関数名や教材の説明が「畳み込み」であっても、実装上は反転しない相互相関が使われていることが多いので、どちらの定義で計算しているかを先に確かめます。

「畳み込み」という名前から、入力を折りたたんで小さくする処理と考えないようにします。演算の中身は、位置ごとの積の和です。出力が入力より小さくなるのは、パディングを使わずに端からはみ出さない位置だけを計算する場合や、ストライドで間引く場合です。