深さ方向分離畳み込み

深さ方向分離畳み込みとは何か

深さ方向分離畳み込み(depthwise separable convolution)とは、畳み込みを2段階に分けて行う演算です。フランソワ・ショレ(François Chollet)は2017年の論文「Xception: Deep Learning with Depthwise Separable Convolutions」で、この演算を「深さ方向の畳み込みに続けて点ごとの畳み込みを行う演算」(a depthwise convolution followed by a pointwise convolution)と定義しています。

ここでいう「深さ」は、入力のチャンネルの方向を指します。カラー画像が赤・緑・青の3つの面を重ねた形をしているように、畳み込み層への入力は縦横に広がる面をチャンネルの数だけ重ねた形をしています。この重なりの方向を奥行きに見立てて、深さと呼んでいます。

2つの段階はそれぞれ次の処理を担います。

1. 深さ方向の畳み込み(depthwise convolution)は、チャンネルごとに独立して空間方向の畳み込みを行います。チャンネル1枚につき縦横だけに広がるカーネルを1枚ずつ用意し、そのチャンネルだけに当てはめます。チャンネルどうしの値は混ざりません。
2. 点ごとの畳み込み(pointwise convolution)は、1×1のカーネルを使って、チャンネル方向だけを混ぜ合わせます。カーネルの縦横が1マスなので、隣の位置の値は使わず、同じ位置にある各チャンネルの値に重みを掛けて足し合わせます。

通常の畳み込みとの違い

通常の畳み込み層では、1枚のカーネルが入力の全チャンネルにまたがる重みを持ちます。そのため1回の計算の中で、縦横の近くの値を集める処理と、チャンネルどうしを混ぜる処理が同時に行われます(詳しい計算は畳み込み層の項目を参照してください)。

深さ方向分離畳み込みは、この2つの処理を切り離します。縦横の近くの値を集める処理は深さ方向の畳み込みが受け持ち、チャンネルどうしを混ぜる処理は点ごとの畳み込みが受け持ちます。出力の形は通常の畳み込みと同じく「縦×横×出力チャンネル数」の特徴マップになりますが、そこに至る計算の組み立て方が違います。

小さな数値例で2段階の処理を追う

以下の数値は説明のために作った架空の例です。縦3×横3の面を2チャンネル重ねた入力を考え、ストライドは1、パディングは0とします。カーネルは入力に重ねて、対応する位置どうしの積を足し合わせるものとします(カーネルを反転しない相互相関の形で計算します。畳み込み層の項目にある反転する定義とは形が異なりますが、多くの機械学習ライブラリが実装しているのはこの反転しない形です)。

チャンネルAとチャンネルBの値は次のとおりです。

$$A=\left(\begin{array}{ccc}1& 2& 0\\ 0& 1& 3\\ 2& 1& 1\end{array}\right),B=\left(\begin{array}{ccc}3& 0& 1\\ 1& 2& 0\\ 0& 1& 4\end{array}\right)$$

第1段階の深さ方向の畳み込み

チャンネルAには左上と右下が1のカーネルを当てはめ、チャンネルBには右上と左下が1のカーネルを別に当てはめます。どちらも縦2×横2のカーネルです。

$$k_A=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right),k_B=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$$

チャンネルAの左上の2×2の範囲は $\left(\begin{array}{cc}1& 2\\ 0& 1\end{array}\right)$ なので、$k_A$ を重ねた結果は $1\times 1+1\times 1=2$ です。同じ計算を4つの位置で行うと、各チャンネルの出力は次のようになります。

$$A^{\prime }=\left(\begin{array}{cc}2& 5\\ 1& 2\end{array}\right),B^{\prime }=\left(\begin{array}{cc}1& 3\\ 2& 1\end{array}\right)$$

$A^{\prime }$ はチャンネルAの値だけから、$B^{\prime }$ はチャンネルBの値だけから計算されています。この段階では出力のチャンネル数は入力と同じ2のままです。

第2段階の点ごとの畳み込み

次に、1×1のカーネルで2つのチャンネルを混ぜ合わせます。1×1のカーネルは、チャンネルごとの重みを1つずつ持つだけのカーネルです。ここでは出力チャンネルを2つ作ることにし、1つ目のカーネルの重みを $(1,1)$、2つ目の重みを $(2,-1)$ とします。

1つ目の出力は、各位置で $1\times A^{\prime }+1\times B^{\prime }$ を計算します。左上の位置では $1\times 2+1\times 1=3$ です。2つ目の出力は各位置で $2\times A^{\prime }-1\times B^{\prime }$ を計算し、左上の位置では $2\times 2-1\times 1=3$ です。4つの位置すべてで計算すると次のようになります。

$$\text{出力1}=\left(\begin{array}{cc}3& 8\\ 3& 3\end{array}\right),\text{出力2}=\left(\begin{array}{cc}3& 7\\ 0& 3\end{array}\right)$$

点ごとの畳み込みでは、左上の出力は左上の $A^{\prime }$ と $B^{\prime }$ の値だけから決まり、隣の位置の値は使われていません。縦横の近くの値を集める仕事は第1段階で済んでおり、第2段階はチャンネルを混ぜる仕事だけをしていることが、この計算から分かります。

重みの数を通常の畳み込みと比べる

2段階に分けたときに学習する重みの数がどう変わるか、定義から計算してみます。以下は論文に書かれた数値ではなく、定義に沿って数えた架空の例です。バイアスは数えていません。

入力のチャンネル数を32、出力のチャンネル数を64、空間方向のカーネルを3×3とします。

通常の畳み込みでは、全チャンネルにまたがる3×3×32の重みを持つカーネルを64枚使うので、重みの数は $3\times 3\times 32\times 64=18,432$ 個です。

深さ方向分離畳み込みでは、第1段階で3×3のカーネルをチャンネルごとに1枚ずつ32枚使うので $3\times 3\times 32=288$ 個、第2段階で1×1×32の重みを持つカーネルを64枚使うので $32\times 64=2,048$ 個です。合わせて $288+2,048=2,336$ 個となり、同じ形の出力を作るのに必要な重みは通常の畳み込みのおよそ8分の1になります。

ただし、この比は入力と出力のチャンネル数やカーネルの大きさによって変わります。また、重みが減ることは計算の組み立て方から導かれる性質であり、それだけで精度が保たれることまでは言えません。

Xceptionでの位置づけと報告された結果

ショレの論文は、通常の畳み込みとInceptionモジュールの中間にある操作として、深さ方向分離畳み込みを位置づけています。Inceptionモジュールは、GoogLeNetなどの畳み込みニューラルネットワークで使われてきた構成部品です。

この見方にもとづいて、論文はInceptionモジュールを深さ方向分離畳み込みに置き換えたアーキテクチャを提案し、Xceptionと名付けました。論文は、XceptionがInception V3と同じ数のパラメータを持ちながら、パラメータをより効率よく使うことで、Inception V3を上回る性能を示したと報告しています。

この結果は、パラメータの数をそろえたうえでInception V3と比べたものです。通常の畳み込みを深さ方向分離畳み込みに置き換えれば、どのモデルでも必ず性能が上がるという主張ではない点に注意してください。