Unified-IO

Unified-IOとは

Unified-IOは、ル(Lu)らがアレン人工知能研究所(Allen Institute for AI)で2022年に発表した論文 Unified-IO: A Unified Model for Vision, Language, and Multi-Modal Tasks で提案されたモデルです。名前のIOは入力(Input)と出力(Output)を表し、さまざまな入出力を1つのモデルで統一的に扱うという狙いを示しています。

論文によると、Unified-IOは次のような幅広いAIタスクを1つのモデルで実行します。

• 古典的なコンピュータビジョンのタスク: 姿勢推定、物体検出、セグメンテーション、深度推定
• 画像の合成: 画像生成、画像の欠けた部分を埋める画像修復(インペインティング)
• 視覚と言語を組み合わせたタスク: 画像の一部の領域を説明する文を作る領域キャプション生成、画像キャプション生成、視覚質問応答、文章が指し示す画像内の対象を特定する参照表現
• 自然言語処理のタスク: 質問応答、同じ意味を別の表現で言い直す言い換え

論文は、これほど多様なタスクをまとめて実行する初めてのニューラルモデルであると述べています。

なぜ1つのモデルにまとめるのが難しいのか

難しさの原因は、タスクごとに入力と出力の形がばらばらなことです。論文はコンピュータビジョンの例として次の違いを挙げています。

• 物体検出は、画像内の物体を囲む長方形の枠であるバウンディングボックスを出力する
• セグメンテーションは、画像内の領域の輪郭を示す二値マスク(画素ごとに対象か対象外かの2値で表した画像)を出力する
• 視覚質問応答は、答えをテキストで出力する
• 深度推定は、各画素がカメラからどれだけ離れているかを表す距離のマップを出力する

このように出力の形式が大きく異なるため、すべてのタスクを1つのモデルで扱う設計は非常に難しいとされています。論文によれば、これまでのコンピュータビジョンの統一モデルは、画像から特徴を取り出す共通の部分(視覚バックボーン)を共有しつつ、タスクごとに別々の枝(ブランチ)を用意するのが一般的でした。

自然言語処理ではなぜまとめやすかったのか

対照的に、自然言語処理のタスクは種類が多くても、入力と出力をどちらもトークンの列として統一的に表しやすいという特徴があります。トークンとは、文章を単語や単語の断片などの単位に区切ったものです。

こうしたトークンの列を受け取り、トークンの列を出力するように作られた仕組みをSeq2Seq(Sequence to Sequence、系列から系列への変換)アーキテクチャと呼びます。入出力が同じ形にそろうので、Seq2Seqアーキテクチャは多くのタスクに幅広く使われてきました。

統一の方法: すべてを離散的な語彙トークンの列にする

Unified-IOの中心となる発想は、自然言語処理で成り立っていたこの性質を、画像を含むすべてのタスクに広げることです。論文では、サポートするあらゆる入力と出力を、離散的な語彙トークンの列へと均質化したと説明しています。対象となる入出力には、RGB画像、画素ごとのマップ、二値マスク、バウンディングボックス、言語が含まれます。

ここでいう離散的な語彙トークンとは、あらかじめ決めた有限個の記号の集まり(語彙)の中から1つを選んで表す単位のことです。辞書に載った単語のように、とびとびの値しかとらない点が離散的という意味です。画像やマスクや枠の座標も、文章と同じくこうした記号の並びとして表せば、どのタスクも記号の列を受け取って記号の列を返すという同じ形になります。

この共通の表現によって、単一のTransformerベースのアーキテクチャを、視覚と言語の分野の90を超える多様なデータセットで同時に(共同で)訓練できたと論文は述べています。

論文で報告された結果

論文の要旨では、次の結果が報告されています。

• GRITというベンチマークの7つのタスクすべてを実行できる初めてのモデルである
• NYUv2-Depth、ImageNet、VQA2.0、OK-VQA、Swig、VizWiz-Ground、BoolQ、SciTailなど16の多様なベンチマークで高い結果を出した
• これらの結果は、タスクごとの追加の微調整(ファインチューニング)を行わずに得られた

統一モデルの利点

論文は、汎用の統一モデルが持つ利点として次の点を挙げています。

• タスクごとに専用の設計をする必要がなくなる
• 1つのアーキテクチャで幅広いタスクを学習し、実行できる
• 大規模で多様なデータの集まりを活用できる
• 概念の知識をタスクの間で効果的に転移できる
• 設計時や訓練時には想定も観察もしていなかったタスクを実行できる可能性さえある

まとめ

Unified-IOは、入出力の形がばらばらであることが統一の障害だったコンピュータビジョンの分野に、すべてを離散的な語彙トークンの列にそろえるという考え方を持ち込み、1つのTransformerで視覚、言語、その両方にまたがるタスクをこなせるようにしたモデルです。