SegNet

画素単位で分類するためのネットワーク

SegNetは、画像の各画素がどのクラスに属するかを分類する意味的セグメンテーション(semantic pixel-wise segmentation)のために提案された、深層の全畳み込みニューラルネットワークのアーキテクチャです。中核となる学習可能なセグメンテーションの仕組みは、エンコーダのネットワーク、それに対応するデコーダのネットワーク、そして最後に置かれる画素ごとの分類層の3つで構成されます。

エンコーダはVGG16の13の畳み込み層と同じ構造

エンコーダのネットワークは、位相的にVGG16ネットワークの13の畳み込み層と同一の構造をしています。エンコーダを通ると、特徴マップは入力画像よりも低い解像度になります。

デコーダの役割は、この低解像度のエンコーダ特徴マップを、入力と同じ解像度の特徴マップへ写し戻すことです。画素ごとの分類を行うには入力と同じ解像度の特徴が必要になるため、デコーダが解像度を戻す働きを担います。

デコーダの新しさはプーリングインデックスによるアップサンプリング

SegNetの新規性は、デコーダが低解像度の入力特徴マップをアップサンプリングする方法にあります。具体的には、デコーダは、対応するエンコーダの最大値プーリングの段階で計算されたプーリングインデックスを使って、非線形のアップサンプリングを行います。

プーリングインデックスとは、最大値プーリングの際にどの位置の値が最大として選ばれたかを表す情報です。デコーダはこの位置情報を受け取り、その位置へ値を戻すことで解像度を上げます。この仕組みにより、アップサンプリングそのものを学習する必要がなくなります。

スパースな特徴マップを畳み込みで密にする

プーリングインデックスを使ってアップサンプリングした特徴マップはスパース(疎)な状態です。そこでSegNetでは、このスパースな特徴マップを学習可能なフィルタで畳み込み、密な特徴マップを作ります。つまり、解像度を戻す段階は学習を必要としない操作で行い、その後の畳み込みで特徴を埋めていく、という2段階の流れになっています。

プーリングインデックスを保存する利点

デコーダがエンコーダから受け取るのは最大値プーリングのインデックスです。論文では、この方式に実用上の利点がいくつかあると述べられており、その1つが、プーリングインデックスだけを保存すればよいためメモリ効率が良いという点です。

シーン理解を意識した効率重視の設計

SegNetは主にシーン理解の応用を動機として開発されました。そのため、推論時のメモリと計算時間の両方の面で効率的になるよう設計されています。また、学習可能なパラメータの数が、競合する他のアーキテクチャより大幅に少ないことも特徴です。学習は確率的勾配降下法を用いてend-to-endで行えます。

他のアーキテクチャとの比較から見えたこと

論文では、SegNetを広く使われているFCNや、よく知られたDeepLab-LargeFOV、DeconvNetと比較しています。この比較から、良いセグメンテーション性能を得るうえでメモリと精度の間にトレードオフがあることが示されました。SegNetは、このトレードオフの中で、メモリと計算時間の効率を重視した位置づけのアーキテクチャだと理解するとよいでしょう。