FPN

大きさの違う物体を見つけるための特徴ピラミッド

画像の中の物体は、大きく写ることもあれば小さく写ることもあります。こうした異なるスケールの物体を検出するために、認識システムでは古くから特徴ピラミッドが基本的な部品として使われてきました。特徴ピラミッドとは、複数のスケールそれぞれについて特徴を用意した、階層状の特徴の集まりのことです。

ところが、深層学習を使った近年の物体検出器は、このピラミッド表現を避ける傾向にありました。理由の一つは、ピラミッドを作ると計算量とメモリの消費が大きくなることです。FPN(Feature Pyramid Networks)は、この課題に対して、深層畳み込みネットワークがもともと内部に持っている多スケールのピラミッド状の階層構造を利用し、わずかな追加コストで特徴ピラミッドを組み立てる方法として提案されました。

特徴ピラミッドを作る4つのやり方の対比

FPNを理解するには、特徴ピラミッドの作り方を4通りに分けて比べると整理しやすくなります。

1つ目は、画像ピラミッドをそのまま使う方法です。入力画像を複数のスケールに変換し、それぞれのスケールで独立に特徴を計算します。スケールごとに計算をやり直すため、処理が遅いという欠点があります。

2つ目は、単一スケールの特徴だけを使う方法です。近年の検出システムでは、検出を速くするためにこの方法が選ばれてきました。速さの面では有利ですが、多様なスケールへの対応という点では課題が残ります。

3つ目は、畳み込みネットワークが計算する途中の層のピラミッド状の階層を、あたかも特徴化された画像ピラミッドであるかのように再利用する方法です。追加の計算をほとんど必要としませんが、深さの異なる層をそのまま使うため、層ごとの意味的な情報の強さに大きな差が生じるという課題があります。浅い層の特徴は解像度が高い一方で、意味的には弱い特徴です。

4つ目が、提案されたFPNです。FPNは2つ目や3つ目の方法と同じように高速でありながら、それらより高い精度を得られるとされています。

トップダウンの経路と横方向の接続

FPNの中心にあるのは、トップダウン方式のアーキテクチャと横方向の接続(lateral connections)の組み合わせです。トップダウンの経路によって、ネットワークの深い側にある高いレベルの意味情報を各スケールへ行き渡らせます。そのうえで、横方向の接続によって、解像度は高いものの意味的には弱い特徴と結び付けます。

この仕組みにより、すべてのスケールで高いレベルの意味を持つ特徴マップが作られます。その結果として得られるのは、どの階層でも豊かな意味情報を持ち、しかも単一のスケールの入力画像から素早く構築できる特徴ピラミッドです。3つ目の方法で問題になっていた、深さの違いによる意味的な差を埋める工夫だと捉えることができます。

ネットワークの中で作る特徴ピラミッドの意義

FPNの意義は、特徴ピラミッドをネットワークの内部で作れることを示した点にあります。画像ピラミッドを使う方法のように入力画像を何通りものスケールで処理し直す必要がなく、表現力、速度、メモリのいずれも犠牲にせずに、特徴化された画像ピラミッドの代わりとして使えるという趣旨が主張されています。

実験の結果として、この改善は単一スケールのベースラインと比べてテスト時間を増やさずに達成されたと報告されています。また、FPNは特定の用途に限らない汎用的な特徴抽出器として、大きな改善を示したとされています。

まとめると、FPNは次の3点で押さえると理解しやすくなります。多スケールの物体検出に使われてきた特徴ピラミッドという考え方を受け継いでいること、深層畳み込みネットワークが本来持つ階層構造を生かしてわずかな追加コストで構築すること、トップダウンの経路と横方向の接続によってすべてのスケールで意味的に強い特徴マップを作ることです。