セマンティックセグメンテーション

数えられる物体と数えられない領域

コンピュータビジョンの初期には、人・動物・道具のように数えられる物体(things)が注目の大半を集めていました。この流れに対して、草・空・道路のように、似た質感や素材が広がる不定形の領域(stuff)を認識するシステムの研究も重要だという問題提起がなされました。stuffとthingsのこの二分法は現在まで続いています。視覚認識のタスクの分け方にも、stuff向けとthings向けにそれぞれ専用に開発されたアルゴリズムにも、この二分法が表れています。セマンティックセグメンテーションは、このうちstuffの側を研究するときに最もよく使われるタスクの定式化です。

画像の全画素に1つずつクラスラベルを付ける

stuffは不定形で、数えることができません。そのため、セマンティックセグメンテーションは、画像の各画素にクラスラベルを割り当てるという単純な形で定義されます。正解データは画素ごとのクラスラベルの集まりです。ある画素が草なのか、空なのか、道路なのかを、画像のすべての画素について決めるタスクだと考えると分かりやすいでしょう。

物体のクラスもstuffとして扱うという注記

この定義には、セマンティックセグメンテーションは物体(things)のクラスもstuffとして扱う、という注記が添えられています。人や動物のように本来は数えられる物体であっても、このタスクでは画素にクラスラベルを付けるだけで、それが何番目の個体なのかは区別しません。たとえば画像に人が複数写っていても、それらの画素にはすべて同じ人のクラスラベルが付き、1人ずつを分けることはしません。

インスタンスセグメンテーションとの違い

これに対して、thingsを研究するときは、物体検出やインスタンスセグメンテーションというタスクとして定式化されるのが一般的です。その目的は個々の物体を検出し、物体検出ではバウンディングボックスで、インスタンスセグメンテーションではセグメンテーションマスクで、その物体の範囲を描き出すことです。

正解データで比べると、セマンティックセグメンテーションは画素ごとのクラスラベルであるのに対し、インスタンスセグメンテーションは物体ごとのマスクとクラスラベルです。つまり両者の違いは、同じクラスに属する個体を1つずつ区別するかどうかにあります。一見すると近いタスクですが、この2つの視覚認識タスクの間では、データセット、細部の取り決め、評価指標が大きく異なります。

手法の系統も分かれてきた

セマンティックセグメンテーションとインスタンスセグメンテーションの分断は、それぞれを解く手法の側にも並行した溝を生みました。stuffの分類器は、通常、膨張(dilation)を用いた全畳み込みネットワークの上に構築されます。一方で、物体検出器は物体の候補領域(object proposals)を使うことが多く、領域ベースの作りになっています。扱う対象がstuffかthingsかによって、手法の系統まで分かれてきたわけです。

切り離して扱うことへの問い

過去10年で、これらのタスクのアルゴリズムは目覚ましく進歩しました。しかし、それぞれのタスクを切り離して扱うことで、何か重要なことが見落とされているかもしれないという指摘もあります。この問題意識から、画素ごとにクラスとインスタンスの両方のラベルを付ける、セマンティックとインスタンスを統合した上位のタスクも提案されています。セマンティックセグメンテーションを学ぶときは、画素ごとにクラスを決めるが個体は区別しないタスクである、という位置づけを押さえておくと、関連するタスクとの関係を整理しやすくなります。