PSPNet

シーン解析はなぜ難しいのか

PSPNet(Pyramid Scene Parsing Network、ピラミッドシーン解析ネットワーク)は、シーン解析(scene parsing)という課題のために提案されたネットワークです。提案した論文は、PSPNetをピクセルレベルの予測のための枠組みとして位置づけています。

シーン解析が難しい理由として、論文は2つの点を挙げています。1つは、扱う語彙に制約が無い(unrestricted open vocabulary)ことです。もう1つは、対象となるシーンが多様である(diverse scenes)ことです。論文はさらに、シーン解析の難しさはシーンとラベルの多様さに密接に関係していると述べています。写っている場面の種類も、付けるべきラベルの種類も多いほど、正しく解析するのが難しくなるという見方です。

FCNベースの手法に欠けていた大域的な特徴

論文によると、当時の最先端のシーン解析の枠組みは、主にFCN(全畳み込みネットワーク)をベースにした手法でした。そのうえで論文は、シーン解析はシーンの文脈についての事前の情報に頼るものだと捉えています。

ここで論文が示した課題認識は、FCNベースのモデルの主な問題は、大域的な画像レベルの特徴(global image-level feature)が欠けていることだ、というものです。画像の一部分だけを見て判断するのではなく、画像全体からどのような場面なのかという情報を得て予測に生かすことが、PSPNetの出発点になっています。

ピラミッドプーリングモジュールによる文脈の集約

この課題に対して論文は、大域的な文脈情報(global context information)の能力を活用する方法を提案しました。その中心がピラミッドプーリングモジュール(pyramid pooling module)です。

ピラミッドプーリングモジュールは、異なる領域を単位として文脈情報を集約します(different-region-based context aggregation)。画像全体を1つの単位として扱うだけでなく、異なる領域ごとに文脈をまとめることで、大域的な文脈を捉えようとする考え方です。論文は、こうして得られる大域的な事前表現(global prior representation)が、シーン解析の課題で質の良い結果を生むのに有効だと述べています。

ピクセルレベルの特徴を大域的な文脈と統合する

PSPNetのもう1つの要点は、ピクセルレベルの特徴の扱い方です。論文は、ピクセルごとの予測のために、ピクセルレベルの特徴を、ピラミッドプーリングモジュールで得た大域的な文脈情報を統合した特徴へと拡張しています。

つまりPSPNetでは、各ピクセルのラベルを決めるときに、そのピクセルの周りの情報だけでなく、画像全体の文脈も合わせて使います。論文はこの点を指して、PSPNetがピクセルレベルの予測に優れた枠組みを与えると述べています。

ベンチマークでの成果

論文は、提案手法がさまざまなデータセットで最先端の性能を達成したと報告しています。具体的には、ImageNet scene parsing challenge 2016、PASCAL VOC 2012ベンチマーク、Cityscapesベンチマークで1位になりました。また、単一のPSPNetで、PASCAL VOC 2012においてmIoU 85.4%、Cityscapesにおいて精度80.2%という新しい記録を出したとされています。

押さえておきたい流れ

PSPNetを理解するには、課題、原因、対策の順に整理すると分かりやすくなります。課題は、語彙に制約が無く多様なシーンを扱うシーン解析の難しさです。原因として論文が指摘したのは、FCNベースの手法に大域的な画像レベルの特徴が欠けていることです。対策は、ピラミッドプーリングモジュールで異なる領域ごとの文脈を集約し、その大域的な文脈をピクセルレベルの特徴と統合することです。