DeepLab

DeepLabが取り組んだ課題

DeepLabは、深層学習を用いたセマンティックセグメンテーション(semantic image segmentation)のための手法です。セマンティックセグメンテーションは、画像の各位置に対して何が写っているかを予測する密な予測タスク(dense prediction task)の一つです。DeepLabを提案した論文は、実験によって実用上の大きな利点が示された3つの主要な貢献を掲げています。1つ目がatrous convolution、2つ目がatrous spatial pyramid pooling(ASPP)、3つ目が深層畳み込みニューラルネットワーク(DCNN)と全結合の条件付き確率場(CRF)の組み合わせです。以下、この3つを順に見ていきます。

atrous convolutionで解像度と視野を制御する

1つ目の貢献は、atrous convolution(アトラス畳み込み、膨張畳み込みとも呼ばれます)を密な予測タスクの強力な道具として位置づけたことです。論文ではこれを、アップサンプリングしたフィルタによる畳み込み(convolution with upsampled filters)とも表現しています。

atrous convolutionには2つの働きがあります。第一に、DCNNの内部で特徴の応答をどの解像度で計算するかを明示的に制御できます。第二に、フィルタの視野(field of view)、つまり受容野を実質的に広げて、より広い文脈を取り込めます。重要なのは、この視野の拡大がパラメータ数や計算量を増やさずに実現できる点です。

ASPPで複数のスケールの物体と文脈を捉える

2つ目の貢献は、atrous spatial pyramid pooling(ASPP)の提案です。ASPPの目的は、さまざまな大きさで写る物体を頑健にセグメンテーションすることです。

ASPPは、入力された畳み込み特徴の層に対して、サンプリング率(sampling rate)の異なる複数のフィルタを当てます。サンプリング率が異なれば実効的な視野も異なるため、ASPPは物体そのものと画像の文脈の両方を、複数のスケールで捉えられます。1つ目の貢献であるatrous convolutionを、異なるサンプリング率で並べて使う仕組みと捉えると理解しやすくなります。

全結合CRFで物体の境界の位置を補う

3つ目の貢献は、物体の境界の位置特定(localization)を改善したことです。DCNNで一般的に使われるmax poolingとダウンサンプリングの組み合わせは、不変性(invariance)をもたらす一方で、位置特定の精度を犠牲にします。セグメンテーションでは物体の境界を正確に捉える必要があるため、この精度の低下は問題になります。

DeepLabはこの問題に対し、DCNNと確率的グラフィカルモデルの手法を組み合わせるという方法をとりました。具体的には、DCNNの最終層の応答を、全結合の条件付き確率場(fully connected Conditional Random Field、CRF)と組み合わせます。論文では、この組み合わせが位置特定の性能を定性的にも定量的にも向上させることが示されています。

ベンチマークでの成果

DeepLabのシステムは、PASCAL VOC-2012のセマンティックセグメンテーションのタスクで、テストセットにおいてmIOU 79.7%を達成し、当時の最高水準(state-of-the-art)を更新しました。さらに、PASCAL-Context、PASCAL-Person-Part、Cityscapesという3つの別のデータセットでも結果を向上させています。

3つの貢献の関係を整理する

DeepLabの3つの貢献は、それぞれ異なる課題に対応しています。atrous convolutionは、パラメータ数や計算量を増やさずに特徴の解像度を制御し、視野を広げるためのものです。ASPPは、その考え方を複数のサンプリング率に広げ、大きさの異なる物体と文脈を同時に捉えるためのものです。全結合CRFは、プーリングとダウンサンプリングによって失われがちな境界の位置の精度を補うためのものです。DeepLabを学ぶ際は、どの仕組みがどの課題に対応しているかを対応づけて覚えておくと整理しやすくなります。