インスタンスセグメンテーション

数えられる物体を1つずつ切り分けるタスク

インスタンスセグメンテーションは、画像の中にある個々の物体インスタンスを検出し、それぞれを領域として切り分ける(セグメントする)タスクです。正解データは、物体ごとのマスクとクラスラベルの組で表されます。たとえば画像に人が3人写っていれば、どれも人という同じクラスですが、3人それぞれに別々のマスクが与えられます。

thingsとstuffという2種類の対象

画像に写るものは、大きく2種類に分けて考えられてきました。1つはthingsで、人、動物、道具のような数えられる物体を指します。もう1つはstuffで、草、空、道路のように、似たテクスチャや材質を持つ不定形の領域を指します。コンピュータビジョンの初期には、注目の大部分をthingsが集めていました。

thingsの研究は、一般に物体検出またはインスタンスセグメンテーションのタスクとして定式化されます。どちらも各物体を検出することが目的で、物体検出は各物体をバウンディングボックスで、インスタンスセグメンテーションはセグメンテーションマスクで描き出します。インスタンスセグメンテーションは、数えられる物体を対象とし、1つ1つの物体をマスクという領域の形で求めるタスクだと整理できます。

セマンティックセグメンテーションとの違い

よく比較されるのがセマンティックセグメンテーションです。セマンティックセグメンテーションは、画像の各ピクセルにクラスラベルを割り当てるタスクで、正解はピクセルごとのクラスラベルです。これに対してインスタンスセグメンテーションは、個々の物体インスタンスを検出して切り分けるタスクで、正解は物体ごとのマスクとクラスラベルです。

違いの要点は、同じクラスの物体を個体ごとに区別するかどうかです。ピクセルごとにクラスを付けるだけであれば、隣り合う2人はどちらも人のピクセルとして同じラベルになります。インスタンスセグメンテーションでは、2人をそれぞれ別の物体として検出し、別々のマスクで区切ります。

両者は一見すると関連したタスクに見えますが、使われるデータセット、細かな設定、評価指標は大きく異なるとされています。

手法の系統の分かれ方

タスクの分断は、手法の分断にもつながっています。stuffを分類する手法は、通常、dilation(拡張)を用いた全層畳み込みネットワーク(fully convolutional nets)の上に構築されます。一方、物体検出器はしばしばobject proposals(物体の候補領域)を用い、領域ベース(region-based)で作られます。インスタンスセグメンテーションはthingsを扱うタスクとして物体検出と並べて語られており、次に述べるように物体検出を押し進めた先に位置づけられています。

データセットが方向づけた研究

COCOデータセットは、物体検出をインスタンスセグメンテーションのタスクへと押し進めました。このタスクを定式化し、高品質なデータセットを提供したことで、新しい研究の方向を定義する助けとなり、インスタンスセグメンテーションにおける近年の多くの進展につながったとされています。

セマンティックとインスタンスを統合する考え方

セマンティックセグメンテーションとインスタンスセグメンテーションは、通常は別個のタスクとして扱われてきました。これに対し、両者を統合し、ピクセルごとにクラスとインスタンスの両方のラベルを付ける上位のタスク(パノプティックセグメンテーション)も提案されています。この統合の考え方については、別の項目で扱います。