パノプティックセグメンテーション

別々だった2つのタスクを統合する

パノプティックセグメンテーションは、画像のセグメンテーションに関する2つのタスクを1つにまとめるものとして提案されました。1つはセマンティックセグメンテーションで、画素ごとにクラスラベルを割り当てるタスクです。もう1つはインスタンスセグメンテーションで、物体の個体ひとつひとつを検出し、その領域を切り出すタスクです。提案した論文は、この2つが通常は別々のタスクとして扱われてきたことを出発点にしています。

パノプティックセグメンテーションでは、豊かで欠けのない、一貫した場面全体のセグメンテーションを生成することが求められます。論文はこれを、実世界で使われる視覚システムへ向けた重要な一歩と位置づけています。

名称のpanopticが意味するもの

panopticという語は、一望のうちに見えるものをすべて含む、という意味を持ちます。論文では、既存の研究と明確に区別するためにこの名称を採用したと説明し、この文脈でのpanopticは、セグメンテーションを統一的かつ全体的な視点で捉えることを指すとしています。画像の一部の物体だけ、あるいはクラスの区別だけを扱うのではなく、見えているものすべてを1つの結果の中で扱う、という姿勢が名称に込められています。

画素ごとに意味ラベルと個体IDを付ける

このタスクの出力形式は簡潔です。画像の各画素に、意味ラベルと個体IDの2つを割り当てます。同じ意味ラベルと同じ個体IDを持つ画素は、同じ物体に属するものとみなされます。

ここで重要になるのが、stuffとthingsの区別です。stuffは空や道路のように数えられない背景的な領域を指し、thingsは人や車のように1つ2つと数えられる個別の物体を指します。stuffのラベルが付いた画素については、個体IDは無視されます。つまり、thingsの画素では意味ラベルと個体IDの組で個々の物体を区別し、stuffの画素では意味ラベルだけで領域を表します。

論文の図では、同じ画像に対する正解を3種類並べて比べています。セマンティックセグメンテーションの正解は画素ごとのクラスラベル、インスタンスセグメンテーションの正解は物体ごとのマスクとクラスラベル、パノプティックセグメンテーションの正解は画素ごとのクラスと個体のラベルです。

stuffとthingsを折り合わせるという問い

論文は、stuffとthingsを調和させることはできるのか、そして豊かで一貫した場面のセグメンテーションを生成する統一的な視覚システムはどのように設計するのが最も効果的か、という問いを掲げています。これらの問いは、自動運転や拡張現実のような実世界の応用と関わるため、特に重要だと述べられています。

提案時に示された3つの条件

パノプティックセグメンテーションは、次の3つを満たすタスクとして提案されました。

1. stuffのクラスとthingsのクラスの両方を含むこと
2. 簡潔でありながら汎用的な出力形式を使うこと
3. すべてのクラスに対して統一された評価指標を導入すること

1つ目により背景と物体を同じ土俵で扱えるようになり、2つ目により各画素に意味ラベルと個体IDを付けるという単純な形式で結果を表せます。3つ目により、stuffとthingsを区別せずに同じ尺度で評価できるようになります。

既存タスクを包含する上位のタスク

論文は、パノプティックセグメンテーションがセマンティックセグメンテーションとインスタンスセグメンテーションの両方を一般化したものだと述べています。そのうえで、この統一されたタスクが新しい課題を提示し、革新的な新しい手法を生み出すきっかけになることへの期待を示しています。セマンティックセグメンテーションとインスタンスセグメンテーションの違いを押さえたうえで、両者を統合した上位のタスクとして整理すると理解しやすくなります。