Mask R-CNN

物体を見つけながら1つずつ切り抜く枠組み

Mask R-CNNは、物体のインスタンスセグメンテーションのために提案された、概念的に単純で柔軟な汎用の枠組みです。画像の中の物体を効率よく検出すると同時に、検出したインスタンス(個々の物体)ごとに質の高いセグメンテーションマスクを生成します。マスクとは、画像のどの画素がその物体に属するかを表すものです。物体の位置を四角い枠で示すだけの物体検出に対して、Mask R-CNNは物体ごとの形まで画素の単位で示す点に特徴があります。

Faster R-CNNにマスクの分岐を並列に足す

Mask R-CNNは、既存の物体検出手法であるFaster R-CNNを拡張した手法です。Faster R-CNNには、物体の候補領域であるRoI(Region of Interest)ごとに、クラスの分類とバウンディングボックスの回帰を行う分岐があります。Mask R-CNNは、この既存の分岐に加えて、各RoIに対してセグメンテーションマスクを予測する分岐を新しく追加します。

大事な点は、この追加の分岐が既存の分岐と並列に置かれていることです。分類とバウンディングボックスの認識を行う分岐はそのまま残し、そのそばにマスクを予測する分岐を並べる構成になっています。そのため、Mask R-CNNは実装しやすく、訓練もしやすい手法とされています。Faster R-CNNに対する追加の計算コストはわずかで、5fpsで動作すると報告されています。

マスク分岐はRoIごとに働く小さなFCN

追加されたマスク分岐は、各RoIに適用される小さなFCN(全結合層を持たない畳み込みニューラルネットワーク)です。この分岐は、RoIの中の画素と出力マスクの画素を対応させる形、つまりピクセル単位でセグメンテーションマスクを予測します。物体ごとに候補領域を切り出し、その領域の中で画素ごとに物体かどうかを予測する仕組みのため、同じクラスの物体が複数写っていても、インスタンスごとに別々のマスクを得られます。

RoIAlignで空間的な位置を正確に保つ

Mask R-CNNでは、RoIAlignという層も提案されています。RoIAlignは量子化を伴わない単純な層で、特徴を取り出すときに空間的な位置を正確に保つ役割を持ちます。ピクセル単位でマスクを予測するには、RoIと特徴の位置の対応がずれないことが重要になります。論文では、RoIAlignは一見すると小さな変更に見えるものの、マスクの精度に大きな影響を与えると述べられています。Mask R-CNNを理解するうえでは、マスク分岐の追加と並んで、このRoIAlignの導入が押さえどころになります。

人物の姿勢推定にも同じ枠組みで広げられる

Mask R-CNNは、ほかのタスクへ一般化しやすいことも特徴です。論文では、同じ枠組みのまま人物の姿勢推定(人物のキーポイント検出)を行えることが示されています。分類とバウンディングボックスの分岐に予測の分岐を並列に足すという構成が、マスク以外の予測にも応用できる柔軟性を持っていることを表しています。

COCOの3部門で示された成果

Mask R-CNNは、COCOの一連のチャレンジの3部門すべて、すなわちインスタンスセグメンテーション、バウンディングボックスによる物体検出、人物のキーポイント検出で上位の結果を示しました。特別な工夫を上乗せしなくても、すべての部門で当時の既存の単一モデルによる応募を上回り、その中にはCOCO 2016チャレンジの優勝モデルも含まれていました。単純な構成でありながら、複数のタスクで高い性能を示した点が、この手法が広く知られる理由の1つです。