Faster R-CNN

領域提案がボトルネックになっていた背景

当時の最先端の物体検出ネットワークは、物体がどこにありそうかという仮説を立てるために、領域提案(region proposal)のアルゴリズムに依存していました。SPPnetやFast R-CNNといった進歩によって検出ネットワーク自体の実行時間は短くなりましたが、その結果として、領域提案の計算が処理全体のボトルネックとして浮かび上がりました。Faster R-CNNは、この領域提案の計算を検出ネットワークと一体のものとして扱うことで、ボトルネックを解消しようとした手法です。

Region Proposal Network(RPN)の仕組み

Faster R-CNNの中心となるのが、Region Proposal Network(RPN)です。RPNは、最先端の物体検出ネットワークと畳み込み層を共有し、その上にいくつかの畳み込み層を追加することで構成されます。このためRPNは全畳み込みネットワーク(fully convolutional network)の一種です。

RPNは、画像上の各位置で、物体の境界(object bounds)と、そこに物体があるらしさを表すobjectnessスコアを同時に予測します。画像全体の畳み込み特徴を検出ネットワークと共有しているので、領域提案のために別の重い計算をあらためて行う必要がなく、ほぼコストなしで領域提案を得られます。RPNはend-to-endで学習され、質の高い領域提案を生成するように訓練されます。生成された領域提案は、Fast R-CNNが検出に用います。

anchorボックスで多様なスケールと縦横比に対応する

物体は画像の中でさまざまな大きさや形で現れます。RPNは、幅広いスケールと縦横比(アスペクト比)を持つ領域提案を効率よく予測できるように設計されています。そのために導入されたのがanchorボックスです。複数の縦横比を基準として用意するこの方式は、アスペクト比のピラミッドと考えることができます。論文では、この方式のもとで学習したモデルがよい性能を示すと報告されています。

RPNとFast R-CNNを1つのネットワークに統合する

Faster R-CNNでは、RPNとFast R-CNNを、畳み込み特徴を共有する形で1つのネットワークへ統合しています。論文では、当時広まりつつあった注意機構(attention mechanism)を持つニューラルネットワークの用語を借りて、RPNという構成要素が、統合されたネットワークに対してどこを見るべきかを教える役割を果たすと説明されています。

つまり、RPNが物体のありそうな場所を示し、Fast R-CNNがその領域提案を使って検出を行うという分担を、別々の仕組みとしてではなく、畳み込み特徴を共有した1つのネットワークの中で実現している点が、この手法の特徴です。

速度と精度の実績

非常に深いVGG-16モデルを使った場合、この検出システムはGPU上で、全工程を含めて5fpsのフレームレートで動作します。それと同時に、1画像あたりわずか300個の提案領域で、PASCAL VOC 2007、PASCAL VOC 2012、MS COCOの各データセットにおいて最高水準の物体検出精度を達成しました。

さらに、ILSVRCとCOCOの2015年のコンペティションでは、Faster R-CNNとRPNが、複数の部門で1位となったエントリーの基盤になりました。

押さえておきたい要点

Faster R-CNNを理解するうえでは、次の流れで整理すると見通しがよくなります。まず、検出ネットワークの高速化によって領域提案の計算がボトルネックになったという問題意識があります。次に、その解決策として、検出ネットワークと畳み込み特徴を共有する全畳み込みネットワークであるRPNを導入し、各位置で物体の境界とobjectnessスコアを同時に予測させました。そして、anchorボックスによって幅広いスケールと縦横比に対応し、最終的にRPNとFast R-CNNを1つのネットワークに統合しました。