拡散モデル

拡散モデルとは

拡散モデル(Diffusion Model)は、非平衡熱力学の考え方に着想を得た潜在変数モデルの一種です。正式には拡散確率モデル(diffusion probabilistic model)と呼ばれ、短く拡散モデルと呼ばれます。その正体は、変分推論を使って訓練されるパラメータ化されたマルコフ連鎖です。マルコフ連鎖とは、次の状態が直前の状態だけで決まる確率的な移り変わりの列のことです。拡散モデルは、この連鎖を有限回たどった後に、学習データに一致するようなサンプルを作り出すことを目標にします。

拡散モデルでは、データそのものをx_0とし、x_1からx_Tまでの潜在変数を考えます。これらの潜在変数はすべてデータx_0と同じ次元を持ちます。モデルが表すのはデータの分布p_theta(x_0)です。

順過程と逆過程

拡散モデルの中心には、向きが反対の2つの過程があります。

1つ目は順過程で、拡散過程とも呼ばれます。これはデータに少しずつガウスノイズを加えていき、最後には元の信号が壊れてしまうまで進むマルコフ連鎖です。各段階でどれだけノイズを加えるかは、beta_1からbeta_Tまでの分散スケジュールで決められています。数式の上では、データx_0が与えられたときの潜在変数の近似事後分布q(x_1:T | x_0)にあたります。他の潜在変数モデルではこの近似事後分布も学習の対象になりますが、拡散モデルではこれを固定されたマルコフ連鎖として決めておく点が特徴です。

2つ目は逆過程です。同時分布p_theta(x_0:T)が逆過程と呼ばれ、順過程を逆向きにたどるように遷移が学習されたマルコフ連鎖として定義されます。出発点はノイズだけの状態p(x_T)で、これは平均0、共分散が単位行列の正規分布N(x_T; 0, I)です。ここから学習されたガウス分布による遷移を繰り返し、ノイズを少しずつ取り除いてデータらしいサンプルへ近づけます。

順過程で加えるノイズが少量のガウスノイズであれば、逆向きのサンプリングの連鎖の遷移も条件付きガウス分布にすれば十分です。そのため、ニューラルネットワークによる特に単純なパラメータ化が可能になります。

訓練とサンプリングの性質

訓練は、負の対数尤度に対する通常の変分下界を最適化することで行われます。

また、拡散モデルのサンプリング手順は、一種の段階的な復号(プログレッシブデコーディング)とみなせます。これはビットの順序に沿った自己回帰的な復号に似ており、しかも通常の自己回帰モデルで可能な範囲をはるかに一般化したものです。なお、モデルの可逆な符号長の大部分は、人の目には知覚できない画像の細部を記述するために使われていることも報告されています。

実験での成果

条件なしのCIFAR10データセットでは、Inceptionスコア9.46と、当時の最先端であるFIDスコア3.17を達成しました。このFIDスコアにより、クラス条件付きのモデルを含め、文献中の多くのモデルよりも優れたサンプル品質が得られたとされています。さらに256x256のLSUNデータセットでは、ProgressiveGANと同程度のサンプル品質を得ています。