ストライド

ストライドとは何か

ストライド(stride)とは、畳み込みの出力をどれだけ間引いて取り出すかを表す幅です。Goodfellow、Bengio、Courvilleによる教科書「Deep Learning」(2016年)の第9章は、畳み込みの出力をすべて残さず、一定の間隔でだけ値を取り出す操作について、出力を間引く(downsampling)畳み込みとして説明しています。この操作では、各方向についてs画素ごとに1つずつ出力を取り出します。同書は、このsを間引いた畳み込みのストライドと呼んでいます。

ここでの「フル畳み込み」とは、カーネルを1画素ずつずらしながら、入力の上で当てはめられる位置すべてについて計算した畳み込みのことです。カーネルとは、畳み込みで入力に当てはめる小さな重みの並びです。ストライドがsの畳み込みは、このフル畳み込みの結果からs個ごとに1つの位置だけを残したものにあたります。残す位置どうしがs画素ずつ離れているので、カーネルをs画素ずつずらしながら当てた結果と同じになります。

ストライドが1のときは1画素ごとに1つ取り出すことになり、実際には何も間引きません。ストライドが2なら2画素ごとに1つ(1つ飛ばし)、3なら3画素ごとに1つ(2つ飛ばし)で出力を取り出します。

間引きを式で表す

1次元の入力で考えます。入力の長さを $m$、カーネルの長さを $k$ とします。入力の外周に値を付け足さない場合(パディング無し)、カーネルが入力からはみ出さずに当てはまる位置は $m-k+1$ 通りあります。同書も、パディングを使わないときの出力の幅を入力の幅とカーネルの幅から $m-k+1$ と示しています。このフル畳み込みの出力を先頭から順に $z(1),z(2),\dots ,z(m-k+1)$ と書きます。

ストライドが $s$ の畳み込みの出力 $y$ は、このうち先頭から $s$ 個ごとに1つの値だけを並べたものです。

$$y(j)=z((j-1)s+1)$$

$j$ は間引いたあとの出力の番号です。$j=1$ なら $z(1)$、$j=2$ なら $z(s+1)$、$j=3$ なら $z(2s+1)$ を取り出します。同書の式(9.8)も、出力の位置の番号に $s$ を掛けて、入力のどこにカーネルを当てるかを決める形で書かれています。

出力サイズの求め方

取り出せる出力の個数は、番号 $(j-1)s+1$ がフル畳み込みの出力の最後の番号 $m-k+1$ を超えない範囲の $j$ の数です。$(j-1)s\le m-k$ を満たす $j$ を数えると、次の式になります。

$$O=\lfloor \frac{m-k}{s}\rfloor +1$$

$O$ は出力の1辺の長さです。$\lfloor \rfloor$ は小数点以下を切り捨てる記号です。入力の外周にパディングとして $P$ 画素ずつ値を付け足す場合は、入力の長さが $m+2P$ に増えたものとして同じ式に当てはめ、$\lfloor \frac{m+2P-k}{s}\rfloor +1$ と計算します。パディングを含めたこの形は、先の教科書の該当箇所に書かれたものではなく、上の数え方を広げた一般的な計算方法です。

数値を使った計算例

入力の1辺を9、カーネルの1辺を3、パディング無しとして、ストライドだけを変えて比べます。以下の数値は説明のために作った架空の例です。

まずフル畳み込みの出力は $9-3+1=7$ 個で、位置の番号は1から7です。

ストライドが1のとき、7個すべてを取り出します。式では $\lfloor (9-3)/1\rfloor +1=6+1=7$ です。

ストライドが2のとき、取り出す位置は1、3、5、7の4個です。式では $\lfloor (9-3)/2\rfloor +1=3+1=4$ となり、数え上げと一致します。

ストライドが3のとき、取り出す位置は1、4、7の3個です。式では $\lfloor (9-3)/3\rfloor +1=2+1=3$ です。

ストライドが4のとき、取り出す位置は1と5の2個です。次の候補の9は、フル畳み込みの出力の最後の番号7を超えるので取り出せません。式では $(9-3)/4=1.5$ となり、切り捨てて1、それに1を足して $1+1=2$ です。

入力が縦9×横9の画像なら、縦と横それぞれに同じ間引きがかかります。ストライド1では出力が7×7で49か所、ストライド2では4×4で16か所になります。1辺の長さはおよそ半分ですが、出力の位置の数はおよそ4分の1になります。

ストライドの値の読み方

ストライドを大きくするほど、取り出す出力の位置は少なくなり、特徴マップは小さくなります。1辺の長さはおよそ $1/s$ 倍になり、2次元の入力では縦横の両方が縮むので、出力の位置の数はおよそ $1/s^2$ 倍になります。

その代わり、ストライドを大きくすると、隣り合う出力どうしが見ている入力の位置が大きく離れます。フル畳み込みでは計算されていた途中の位置の値が、出力に残らなくなります。ストライドの値は、出力をどれだけ小さくするかと、入力の位置をどれだけ細かく見るかを同時に決めます。

誤解しやすい点

ストライドとカーネルの大きさは別の値です。カーネルの大きさは1回に見る入力の範囲の広さを表し、ストライドは次にカーネルを当てる位置までの距離を表します。先の例ではカーネルの1辺は3のままで、ストライドだけを1から4まで変えました。

割り算が割り切れない組み合わせでは、入力の端の一部がどの出力にも使われません。ストライド4の例では、取り出した2つの位置のカーネルが覆う入力は1番目から3番目と5番目から7番目です。4番目、8番目、9番目の入力はどの出力の計算にも入りません。出力サイズの式の切り捨ては、こうして端に余りが出て捨てられる数え方の一例です。余りをどう扱うかは使うソフトウェアによって違うため(畳み込み層の項目を参照)、ここでの切り捨ては1つの数え方として示しています。

ストライドを2にしても、出力の位置の数が半分になるとは限りません。1辺の長さが約半分になるのであり、2次元の入力では位置の数は約4分の1になります。