DALL-E

DALL-Eとは

DALL-Eは、文章で指示した内容の画像を生成するテキストからの画像生成の手法です。OpenAIのラメッシュ(Ramesh)らが2021年に発表した論文 Zero-Shot Text-to-Image Generation で示されました。

論文によると、それまでのテキストからの画像生成は、決まったデータセットで学習するためにより良いモデル化の仮定を探すことに力が注がれてきました。その仮定には、複雑なアーキテクチャ、補助的な損失、学習時に与える物体の部位ラベルやセグメンテーションマスクといった追加情報が含まれます。

これに対しDALL-Eは、シンプルな方針をとります。テキストのトークンと画像のトークンを1本の連続したデータ列としてつなげ、それをトランスフォーマーで自己回帰的にモデル化する、というものです。

自己回帰とは

自己回帰的なモデル化とは、データ列の先頭から順に、それまでに並んだトークンをもとに次のトークンを予測していくやり方です。DALL-Eでは、まずテキストのトークンが並び、その後ろに画像のトークンが続く1本の列を考えます。モデルはこの列を前から順に予測するように学習するので、テキストを与えれば、それに続く画像のトークンを1つずつ生成できるようになります。

論文では、インターネットから集めた2億5000万組の画像とテキストの組を使い、120億パラメータの自己回帰トランスフォーマーを学習させています。その結果、自然言語で制御できる、柔軟で忠実度の高い画像の生成モデルが得られたと報告されています。

なぜ画素をそのまま使わないのか

画像をトークンの列として扱うなら、画素1つ1つをそのままトークンにする方法がまず考えられます。しかし論文は、この方法に2つの問題があると指摘しています。

1つ目はメモリです。高解像度の画像では画素の数が非常に多く、画素をそのまま画像トークンにすると、膨大なメモリが必要になります。

2つ目は学習の偏りです。尤度(データがどれだけもっともらしく再現されるか)に基づく学習の目的は、近くにある画素どうしの短い距離の関係をモデル化することを優先しがちです。そのため、モデルの能力の多くが毛並みのような細かい高周波の細部をとらえることに使われ、私たちが物体を見分ける手がかりになる大まかな形、つまり低周波の構造の学習が後回しになってしまいます。

2段階の訓練手順

これらの問題に対処するため、DALL-Eは訓練を2つの段階に分けています。

第1段階: 離散変分オートエンコーダで画像をトークンに圧縮する

離散変分オートエンコーダ(discrete VAE、dVAE)は、画像をいったん少数の記号に圧縮し、その記号から元の画像を復元できるように学習するモデルです。オートエンコーダは入力を圧縮する部分(エンコーダ)と復元する部分をあわせ持つ仕組みで、離散という名前のとおり、圧縮した結果が連続した数値ではなく、決められた候補の中から選ばれる記号になる点が特徴です。

DALL-Eでは、縦横256画素のRGB画像を、縦32個、横32個に並んだ画像トークンへ圧縮します。1つの画像トークンは8192通りの値のどれかをとります。エンコーダは空間の解像度を縦横それぞれ8分の1に縮めます。これによりトランスフォーマーが扱う列の長さ(コンテキストのサイズ)は192分の1になり、しかも見た目の品質は大きくは落ちないと論文は述べています。

論文の図では、元の画像とdVAEで復元した画像が比べられています。猫の毛並みの質感、店先の文字、イラストの細い線といった細部は失われたり歪んだりすることがありますが、画像の主な特徴はたいてい見分けられます。情報の損失を抑えるために、8192という大きな語彙のサイズを使っていると説明されています。

第2段階: テキストと画像のトークンをまとめて自己回帰で学習する

次に、BPEと呼ばれる方式で符号化した最大256個のテキストトークンと、第1段階で得た32かける32、つまり1024個の画像トークンを連結します。そのうえで、テキストと画像のトークンの同時分布(両者がどのような組み合わせで現れるか)をモデル化する自己回帰トランスフォーマーを学習させます。

第1段階で画像を少数のトークンに置き換えておくことで、画素をそのまま扱う場合のメモリの問題と、細部ばかりを学ぶ問題の両方を避けながら、テキストと画像を1本の列として学習できるわけです。

何ができるようになったか

論文の題名にあるゼロショットとは、評価に使うデータセットの訓練ラベルを使わずに、そのまま性能を測ることを指します。DALL-Eは、画像生成でよく使われるMS-COCOデータセットに対し、その訓練ラベルを一切使わずに高品質な画像生成を達成しました。人間の評価者は、そのデータセットで学習した従来の手法よりもDALL-Eの結果を90%の割合で好んだと報告されています。十分なデータと規模があれば、特定の領域に特化した従来のモデルと張り合える、というのが論文の主張です。

さらに論文は、DALL-Eが次のようなことを、確実さに差はあるものの行えるように見えると述べています。

• 別々の概念をもっともらしい形で組み合わせる
• 動物を擬人化した姿で描く
• 画像の中に文字を描く
• ある種の画像から画像への変換を行う

画像から画像への変換はまだ初歩的な水準ですが、以前はその作業のための専用の手法が必要でした。それが1つの大規模な生成モデルの能力として自然に現れた点が注目されています。