画像生成

画像生成とはどのようなタスクか

画像生成は、機械学習モデルが画像というデータを出力する、データ生成タスクの一種です。分類や検出のように入力画像にラベルを付けるタスクとは違い、モデルの出力そのものが画像になります。代表的な手法として、敵対的生成ネットワーク(GAN)とその発展形がよく知られています。

画像生成には、大きく分けて2つの方向性があります。1つは、訓練データの分布を学び、そこから新しい画像を作り出す方向です。もう1つは、手元にある画像を入力として受け取り、それを別の表現や見た目の画像へ変換する方向です。以下では、4つの手法を例に、それぞれの方向性を整理します。

新しい画像を作り出す方向

GANは、敵対的な過程を通じて生成モデルを推定する枠組みとして提案されました。この枠組みでは、データの分布を捉える生成モデルGと、あるサンプルがGから来たものではなく訓練データから来たものである確率を推定する識別モデルDの、2つのモデルを同時に訓練します。原論文では、手書き数字のMNIST、顔画像のToronto Face Database(TFD)、小さな物体画像のCIFAR-10といったデータセットで訓練が行われました。つまりGANは、訓練データに似た新しい画像を生成モデルGに作らせるという課題設定を示した手法です。

DCGAN(深層畳み込み敵対的生成ネットワーク)は、GANの生成モデルと識別モデルに畳み込みニューラルネットワーク(CNN)を用い、そこに一定のアーキテクチャ上の制約を設けたCNNのクラスとして提案されました。原論文は、DCGANが教師なし学習の有力な候補であることを示し、LSUN(Large-scale Scene Understanding)の寝室(bedrooms)データセットで訓練して、GANが学習する表現の性質を調べました。寝室の写真のような複雑な情景の画像を扱った点が、画像生成の対象を広げた例といえます。

既存の画像を変換する方向

Pix2Pixは、画像処理・コンピュータグラフィックス・コンピュータビジョンの多くの問題を、入力画像を対応する出力画像へ変換する問題として捉え直し、条件付きの敵対的ネットワークで汎用的に解く手法として提案されました。原論文では、ラベルマップから写真を合成する、エッジマップから物体を復元する、画像に色をつけるといったタスクで有効性が示されています。入力画像と出力画像が対になったデータを使って学習する点が特徴です。

CycleGANは、対応づけられていない2つの画像集合XとYが与えられたとき、一方の画像を他方へ、またその逆へと自動的に変換することを学習する手法です。原論文では、モネの絵画とFlickrの風景写真、ImageNetのシマウマと馬、Flickrのヨセミテの夏と冬の写真といった組み合わせで変換が示されました。入力と出力の対が用意できない場合にも画像変換を学習できる点で、Pix2Pixとは前提が異なります。

全体像の整理

GANとDCGANは、訓練データの分布から新しい画像を作り出す方向の手法です。Pix2PixとCycleGANは、既存の画像を別の表現へ変換する方向の手法で、対になったデータを使うか使わないかで区別できます。それぞれの詳しい仕組みは、各手法の項目で扱います。