平均値プーリング

近傍の値を平均で置き換える

平均値プーリング(average pooling)は、畳み込みニューラルネットワーク(CNN)の中で使われるプーリングという処理の一種です。畳み込み層が出力する特徴マップは、位置ごとに数値が並んだ格子の形をしています。プーリングは、ある位置の出力について、その近傍にある出力をまとめた1つの値で置き換える処理です。このまとめた値を要約統計量と呼びます。平均値プーリングは、要約統計量として近傍の値の平均を使います。

近傍として使う長方形の範囲を窓と呼びます。窓の大きさと、窓を何マスずつずらすかを表すストライドを先に決めておきます。そして特徴マップの上で窓を動かしながら、そのつど中に入った値の平均を出力します。窓が重ならないようにずらすと、出力の特徴マップは入力より小さくなります。

計算式

窓の大きさを縦横ともk、ストライドをsとします。入力の特徴マップの値をx、出力の値をyと書き、行と列の番号を0から数えます。このとき、出力のi行j列の値は次の式で求めます。

$$y_{i,j}=\frac{1}{k^2}\sum _{p=0}^{k-1}\sum _{q=0}^{k-1}{x}_{si+p,sj+q}$$

右辺の2つの和は、入力の $si$ 行 $sj$ 列を左上の角とするk×kの窓に入る $k^2$ 個の値すべてを足し合わせることを表します。その合計を個数の $k^2$ で割るので、結果は窓内の値の平均になります。

4×4の特徴マップで計算する

次の4×4の特徴マップXに、2×2の窓をストライド2で当てて平均値プーリングを行います。値は説明のために用意した架空のものです。

$$X=\left(\begin{array}{cccc}1& 3& 2& 4\\ 5& 7& 6& 0\\ 2& 2& 9& 1\\ 4& 0& 3& 3\end{array}\right)$$

窓を2マスずつずらすので、4×4の特徴マップは重なりのない4つの2×2の区画に分かれます。区画ごとに4つの値を足し、4で割ります。

左上の区画には1、3、5、7が入ります。合計は16なので、平均は4です。式に当てはめると $y_{0,0}=\frac{1}{4}(1+3+5+7)=4$ となります。

右上の区画には2、4、6、0が入ります。合計は12なので、平均は3です。

左下の区画には2、2、4、0が入ります。合計は8なので、平均は2です。

右下の区画には9、1、3、3が入ります。合計は16なので、平均は4です。

4つの平均を元の区画の位置どおりに並べると、出力Yは次の2×2の特徴マップになります。

$$Y=\left(\begin{array}{cc}4& 3\\ 2& 4\end{array}\right)$$

出力が2×2になる理由は、窓を置ける位置の数から分かります。横方向では、窓の左端を0列目と2列目の2か所に置けます。縦方向も同じく2か所です。一般に、入力の一辺の長さがI、窓の一辺がk、ストライドがsで、特徴マップの外側を埋める処理をしない場合、一辺あたりに窓を置ける位置の数は $\lfloor (I-k)/s\rfloor +1$ です。この例では $(4-2)/2+1=2$ となり、値の個数は16個から4個に減りました。

最大値プーリングと比べる

最大値プーリング(max pooling)も、長方形の近傍を1つの値にまとめるプーリングです。平均の代わりに、近傍の中の最大値を出力します。上の特徴マップXに同じ窓とストライドで最大値プーリングを当てると、4つの区画から7、6、4、9が選ばれます。

右下の区画を見ると、2つの違いがよく分かります。この区画には9という飛び抜けて大きな値が1つあり、残りは1、3、3です。最大値プーリングは9をそのまま出力しますが、平均値プーリングは4を出力します。平均値プーリングでは区画内の4つの値がすべて同じ重みで出力に効くので、1つだけ大きな値があっても、ほかの値と平均されて小さくなります。反対に最大値プーリングでは、最大値以外の3つの値は、最大値を超えない範囲でいくら変わっても出力に影響しません。

プーリングのまとめ方は、平均と最大値の2つに限りません。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)の教科書「Deep Learning」(2016年)は、よく使われるプーリング関数として、平均と最大値のほかに、近傍の値のL2ノルムと、中心の画素からの距離に応じて重みを付けた加重平均を挙げています。

小さなずれに強い表現を作る

プーリングは、入力が少しだけずれても出力の大部分の値が変わらない表現を作るのに役立ちます。この性質を並進に対する不変性と呼びます。並進とは、画像の中身を回転させずに上下左右へ平行にずらすことです。前述の教科書は、画像に顔が写っているかを判定する場面を例に挙げています。この場面では、目の位置を画素単位で正確に知る必要はなく、顔の左側と右側に目があることが分かれば足ります。

平均値プーリングで、この性質を数値で確かめます。2×2の窓の中に8が1つと0が3つ入っているとします。8が左上にあっても右上にあっても、4つの値の合計は8なので、平均は2のまま変わりません。1マスのずれが窓の中に収まっている限り、出力は同じです。

ただし、この不変性は完全なものではありません。ずれによって値が隣の窓へ移ると、出力も変わります。先ほどの8が窓の右端にあり、1マス右へずれて隣の窓に入ったとします。元の窓の平均は2から0に下がり、隣の窓の平均は上がります。プーリングによる不変性は、小さなずれに対して出力の大部分が変わらないという、おおよその性質です。