テキストからの画像生成

どのようなタスクか

テキストからの画像生成は、文章で書かれた説明を、その説明どおりの見た目をもつ画像へ変換するタスクです。リード(Reed)らの2016年の論文は、人が書いた1文の説明を、直接画像の画素へ変換することを目標として示しています。例として挙げられているのは、次のような文です。

• この小さな鳥は、短く尖ったオレンジ色のくちばしと白い腹をもつ
• この花の花びらはピンク色で、葯は黄色い

このタスクでは、入力が文字の並びで、出力が画素の並びです。論文はこれを、視覚的な概念を文字から画素へ翻訳することだと表現しています。つまり、文章に書かれた色・形・部位といった情報を読み取り、それに合う画像を作り出すことが求められます。

当時の位置づけ

文章から現実的な画像を自動で合成できれば、面白く役に立つと考えられていました。一方で、リードらは論文の冒頭で、当時のAIシステムはこの目標からまだ遠く、視覚的な説明から画像を生成する問題は研究者の関心を集めてはいるものの、解決には程遠いと述べています。

そのうえで、リードらは2つの研究の流れに注目しました。

• 文章の側: 再帰型ニューラルネットワーク(RNN)の汎用的で強力な構造が登場し、文章の特徴を、対象を見分けるのに役立つ表現として学習できるようになっていた
• 画像の側: 深い畳み込み層をもつGANが、顔・アルバムのジャケット・部屋の内装のような特定の種類の画像について、かなり説得力のある画像を生成し始めていた

リードらの研究は、この文章のモデル化と画像のモデル化の進歩を橋渡しすることを狙ったものです。

土台となるGANの仕組み

GAN(敵対的生成ネットワーク、Generative Adversarial Networks)は、生成器と識別器という2つのネットワークからなります。

• 生成器(generator): 画像を作り出すネットワーク
• 識別器(discriminator): 与えられた画像が、本物の学習データか、生成器が作った合成画像かを見分けるネットワーク

2つのネットワークは、2人のプレイヤーによるミニマックスゲームの形で競い合います。識別器は本物と合成画像を見分けようとし、生成器は識別器をだまそうとします。この競い合いを通じて、生成器は本物らしい画像を作れるようになっていきます。

最初期の代表的な手法: テキストでGANを条件づける

リードらの手法の中心となる発想は、GANを文章の特徴量で条件づけることです。条件づけとは、生成や判定を行うときに、手がかりとなる追加の情報をネットワークに与えることを指します。ここでは、その手がかりが説明文の特徴量です。

リードらは、深い畳み込み層をもつGAN(DC-GAN)を、テキストエンコーダーで符号化した文章の特徴量によって条件づけて学習させました。テキストエンコーダーには、文字単位で処理する畳み込み層と再帰型の層を組み合わせたネットワークが使われています。生成器と識別器の両方が、この文章の特徴量を条件として受け取ります。

生成器の中での処理の流れは、おおよそ次のとおりです。

1. ノイズの分布から、ノイズベクトルを1つ取り出す
2. 入力された説明文を、テキストエンコーダーで埋め込み(文章の特徴を表す数値のベクトル)に変換する
3. その埋め込みを全結合層で小さな次元に圧縮し、ノイズベクトルとつなげる
4. つなげたベクトルを、画像を広げながら組み立てていく逆畳み込みのネットワークに通し、合成画像を出力する

このように、画像の生成は、説明文とノイズの両方を手がかりにして生成器を前向きに計算することに当たります。説明文が画像の内容を方向づけ、ノイズが同じ説明文からでも異なる画像を生み出す余地を与える、という役割分担になっています。

示された成果

リードらは、この方法によって、鳥や花について書かれた詳しい説明文から、もっともらしい画像を生成できることを示しました。対象は鳥や花といった限られた種類に留まりますが、1文の説明から直接画像を合成するという、テキストからの画像生成の基本的な形をGANの枠組みで実現した例として位置づけられます。

その後、このタスクにはGAN以外の方法も含め、さまざまな手法が提案されています。それらの個別の仕組みは、それぞれの手法を扱う語で学んでください。このページでは、タスクそのものの定義と、GANによる条件づけという最初期の発想を押さえておくことが目的です。