特徴マップ

特徴マップとは何か

特徴マップ(feature map)とは、畳み込み(convolution)という計算の出力です。Goodfellow、Bengio、Courvilleによる教科書「Deep Learning」(2016年)の第9章9.1節は、離散的な畳み込みの式を示したうえで、その出力を特徴マップと呼んでいます。

畳み込みの入力は、画像の画素のように縦横に並んだ数値です。畳み込みでは、フィルタと呼ばれる小さな重みの並びを入力の上に重ね、重なった値どうしを掛けて足し合わせます。同書ではこの重みの並びをカーネル(kernel)と呼んでいます。フィルタを1マスずつずらしながら同じ計算を繰り返すと、位置ごとに1つずつ数が得られます。得られた数をフィルタを当てた位置どおりに縦横へ並べたものが特徴マップです。

このため特徴マップの各マスは、入力のどの範囲にフィルタを当てた結果なのかが決まっています。特徴マップの値を見れば、入力のどの場所で積の和が大きくなったかを読み取れます。

特徴マップを求める式

多くの機械学習ライブラリが実際に計算しているのは、次の式です。

$$S(i,j)=\sum _m\sum _{n}I(i+m,j+n)K(m,n)$$

$I$ は入力、$K$ はフィルタ、$S$ は出力である特徴マップです。$i$ と $j$ は特徴マップの中の位置(上から $i$ 行目、左から $j$ 列目)、$m$ と $n$ はフィルタの中の位置です。このページでは、入力と特徴マップの位置は1から、フィルタの中の位置は0から数えます。和はフィルタの中のすべての位置について取ります。

数学で定義される本来の畳み込みは、フィルタを上下左右に反転させてから当てはめます。上の式は反転させない形で、相互相関(cross-correlation)と呼ばれます。同書は、多くの機械学習ライブラリが相互相関を実装しながらそれを畳み込みと呼んでいると述べ、同書自身もこの慣例に従い、反転の有無が問題になる場面でだけ両者を区別するとしています。このページの計算例も、反転させない形で計算します。

数値で追う特徴マップ

以下の数値は説明のために作った架空の例です。縦4マス、横4マスの入力 $I$ と、縦2マス、横2マスのフィルタ $K$ を次のように置きます。

$$I=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 1& 1\\ 4& 4& 1& 1\\ 4& 4& 1& 1\end{array}\right)K=\left(\begin{array}{cc}-1& -1\\ 1& 1\end{array}\right)$$

入力は、左下の4マスだけが4で、ほかは1です。フィルタは上の段が $-1$、下の段が $1$ なので、当てはめた範囲の下の段の和から上の段の和を引く計算になります。式に当てはめると $S(i,j)=I(i+1,j)+I(i+1,j+1)-I(i,j)-I(i,j+1)$ です。

1行目の3つの位置では、フィルタが入力の1行目と2行目に重なります。重なる値はすべて1なので、$S(1,1)$、$S(1,2)$、$S(1,3)$ はどれも $(1+1)-(1+1)=0$ です。

2行目の3つの位置では、フィルタが入力の2行目と3行目に重なります。

$S(2,1)=(4+4)-(1+1)=6$

$S(2,2)=(4+1)-(1+1)=3$

$S(2,3)=(1+1)-(1+1)=0$

3行目の3つの位置では、フィルタが入力の3行目と4行目に重なります。左から順に $(4+4)-(4+4)=0$、$(4+1)-(4+1)=0$、$(1+1)-(1+1)=0$ となります。

計算した9つの値を位置どおりに並べると、特徴マップ $S$ は次のようになります。

$$S=\left(\begin{array}{ccc}0& 0& 0\\ 6& 3& 0\\ 0& 0& 0\end{array}\right)$$

入力で値が1から4へ変わる境目は、2行目と3行目の間の左側にあります。特徴マップでは、その境目にフィルタが重なった2行目の左側にだけ0でない値が出ています。境目をフィルタの幅いっぱいに含む位置では6、半分だけ含む位置では3、境目を含まない位置では0です。特徴マップが入力の中の位置関係を保ったまま、フィルタとの積の和が大きい場所を示していることが分かります。

同じ入力でも、フィルタの値を変えれば特徴マップの値は変わります。フィルタを上下左右に反転させて本来の畳み込みで計算すると、フィルタは上の段が $1$、下の段が $-1$ になり、この例では2行目が $-6$、$-3$、$0$ と符号だけが逆になります。

特徴マップの大きさを決めるもの

上の例では、4×4の入力から3×3の特徴マップが得られ、入力より小さくなりました。同書によると、入力の外側に値を付け足さない畳み込み(valid convolution)では、入力の幅を $m$、フィルタの幅を $k$ とすると、出力の幅は $m-k+1$ になります。この例では $4-2+1=3$ です。畳み込みを重ねるたびに、出力はこの分だけ縮みます。

入力の外周に0を付け足すことをゼロパディングと呼びます。同書は、ゼロパディングを使うとフィルタの幅と出力の大きさを互いに独立に決められると説明しています。

ストライドは、フィルタを何マスおきに当てはめるかを表す値です。同書は、すべての位置で計算した出力を $s$ マスおきに間引く操作としてストライド付きの畳み込みを定義し、この間引きの幅 $s$ をストライドと呼んでいます。上の例でストライドを2にすると、縦横とも1番目と3番目の位置だけが残り、特徴マップは $S(1,1)$、$S(1,3)$、$S(3,1)$、$S(3,3)$ の2×2になります。この4つはすべて0なので、この例では境目を示していた6と3が特徴マップから抜け落ちます。ストライドを大きくすると特徴マップは小さくなりますが、間引いた位置の値は残りません。

誤解しやすい点

1つ目は、特徴マップとフィルタの取り違えです。フィルタは入力に当てはめる重みの並びで、特徴マップはその重みを入力に当てはめて得られた計算結果です。同じフィルタを使っても、入力が変われば特徴マップの値は変わります。

2つ目は、特徴マップの大きさが常に入力と同じだという思い込みです。外側に値を付け足さずに計算すると特徴マップは入力より小さくなり、ストライドを大きくするとさらに小さくなります。大きさはフィルタの幅、パディング、ストライドで決まります。

3つ目は、ライブラリの「畳み込み」がフィルタを反転させていると考えることです。多くのライブラリが計算しているのは反転させない相互相関です。数値例で見たとおり、反転の有無で特徴マップの値の符号や並びが変わることがあるため、手で計算して確かめるときはどちらの形で計算しているかを確認します。