データ生成：GAN・拡散モデルと生成 AI

ねらい

このレッスンでは、新しいデータを作り出す生成モデルを学びます。

基礎

「訓練データに似た、まだ存在しない新しいデータを生み出す」という全体像をつかみます。

1. 生成モデルとは：新しいデータを作る

これまで学んだモデルの多くは、入力を受け取って、分類や予測という答えを返すものでした。生成モデルは、これとは向きが違います。データそのものを新しく作り出します。

生成モデルは、大量のデータを見て、そのデータに共通する特徴やばらつきを学びます。学んだあとは、その特徴に沿った、訓練データには無かった新しいデータを生み出せます。たくさんの猫の画像を学べば、実在しない猫の画像を作れる、という具合です。

作り出す対象によって、呼び名が分かれます。画像を作ることを画像生成、音声を作ることを音声生成、文章を作ることを文章生成と呼びます。このレッスンでは、おもに画像生成のしくみを軸に説明し、音声生成と文章生成にも触れます。

2. 生成モデルの代表的な流派

画像などを生み出す生成モデルには、いくつかの流派があります。基礎層では、名前とおおまかな特徴をつかんでおきましょう。

ひとつは、2つのネットワークを競わせて学ぶ、敵対的生成ネットワークです。長く画像生成の主役でした。

もうひとつは、少しずつ雑音を消していくことで生み出す、拡散モデルです。近年の画像生成の主役になっています。

文章生成は、これらとは別に、言語モデルが担います。言語モデルのしくみは、言語モデルのレッスンで学びました。ここでは、文章生成は主に言語モデルが行う、と押さえてください。

ここまでの要点

• 生成モデルは、学んだデータの特徴に沿って、新しいデータそのものを作ります。
• 対象により、画像生成・音声生成・文章生成と呼び分けます。
• 画像を生み出す代表的なしくみに、敵対的生成ネットワークと拡散モデルがあります。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「生成モデルは新しいデータを作る」「画像では敵対と拡散という2つの流派がある」と押さえられていれば、この先の深掘りに進む土台はできています。

発展

ここからは、それぞれのしくみと仲間、そして現在の生成 AI につながる手法をくわしく見ます。

3. 敵対的生成ネットワーク（GAN）：競わせて学ぶ

敵対的生成ネットワーク（てきたいてきせいせいネットワーク）は、英語で Generative Adversarial Networks と書き、頭文字をとって GAN（ガン）と呼びます。名前の「敵対」が、しくみの核をよく表しています。

GAN は、役割の違う2つのネットワークを競わせて学びます。ひとつは、にせのデータを作る生成器です。もうひとつは、渡されたデータが本物か、生成器が作ったにせ物かを見分ける識別器です。

学習は、いたちごっこの形で進みます。生成器は識別器をだませるように、より本物らしいデータを作ろうとします。識別器はだまされないように、本物とにせ物をより正確に見分けようとします。両者が競い合ううちに、生成器はどんどん本物に近いデータを作れるようになります。にせ札作りと、それを見破る鑑定人が、たがいに腕を上げていく様子に似ています。

GAN は、鮮明で本物らしい画像を作れることで大きな注目を集めました。一方で、2つのネットワークの競い合いがうまく釣り合わないと学習が不安定になりやすい、という難しさも知られています。

以下では、敵対的生成ネットワーク（GAN）を土台にした代表的な仲間を見ます。

1つ目は、DCGAN（ディーシーガン）です。英語で Deep Convolutional GAN と書きます。GAN の生成器と識別器に、画像を得意とする畳み込みの構造を取り入れたものです。畳み込みの構造は、画像認識のレッスンで学んだものと同じ考え方です。DCGAN によって、GAN での画像生成が安定し、実用的な品質に近づきました。

2つ目は、Pix2Pix（ピクストゥピクス）です。ある画像を別の画像へ変換する手法です。たとえば、線画から色つきの絵へ、地図から航空写真へ、といった変換ができます。変換の前と後がペアになった学習データを使います。入力の画像に応じて出力を作る、条件つきの生成の代表例です。

3つ目は、CycleGAN（サイクルガン）です。Pix2Pix と同じく画像を別の画像へ変換しますが、変換の前と後がペアになっていなくても学べる点が違います。たとえば、大量の馬の画像と大量のしまうまの画像があれば、両者が対応づいていなくても、馬をしまうまへ変える変換を学べます。変換して元に戻すと元の画像に近づくべきだ、という一貫性を手がかりに学びます。ペアのデータを用意しにくい場面で役立ちます。

理解の確認

GAN は、にせのデータを作る生成器と、本物かにせ物かを見分ける識別器を競わせて学びます。DCGAN は畳み込みの構造で画像生成を安定させ、Pix2Pix はペアのある画像変換、CycleGAN はペアの無い画像変換を行います。

4. 拡散モデル：雑音から少しずつ描き出す

Diffusion Model（ディフュージョンモデル）は、日本語で拡散モデルと呼びます。近年の画像生成で主役になっている手法です。GAN とはまったく違う発想で画像を作ります。

拡散モデルの考え方は、2つの向きの過程からなります。

ひとつは、きれいな画像に少しずつ雑音を加えていき、最後には全体が砂あらしのような雑音になるまで壊していく過程です。これは学習のための準備で、雑音の加え方はあらかじめ決まっています。

もうひとつは、その逆で、雑音を少しずつ取り除いて画像を復元していく過程です。拡散モデルは、この「雑音を少し取り除く」手順をニューラルネットワークに学ばせます。

生成のときは、まったくの雑音から出発します。学んだ「雑音を少し取り除く」手順を何度もくり返し、少しずつ像を浮かび上がらせて、最後に1枚の画像を作ります。真っ白なもやの中から、だんだん形が現れてくる様子を想像すると近いです。

拡散モデルは、GAN に比べて学習が安定しやすく、多様で高品質な画像を作れるため、現在の画像生成の中心になりました。文章での指示に沿って画像を作る、いまの画像生成 AI の多くが、この拡散モデルを土台にしています。

理解の確認

拡散モデルは、画像に雑音を加えて壊す過程と、雑音を取り除いて復元する過程からなります。学習では雑音を少し取り除く手順を学び、生成では雑音から出発してその手順をくり返し、画像を描き出します。学習が安定しやすく、現在の画像生成の中心です。

5. NeRF と、音声生成・文章生成

画像以外のデータ生成にも触れておきます。

NeRF（ナーフ）は、英語で Neural Radiance Fields と書きます。少数の角度から撮った写真をもとに、写っている場面の立体的な様子をニューラルネットワークで表し、撮っていない新しい角度から見た画像を作り出す手法です。平面の複数の写真から、立体としての見え方を再構成する点が特徴で、立体的な場面の生成として位置づけられます。

音声生成は、自然な音声波形を作り出すはたらきです。文章から人の声を読み上げる音声合成などで使われます。代表的なモデルや、音声を扱うしくみは、音声処理のレッスンでくわしく学びます。ここでは、音声生成も生成モデルの一分野である、と押さえてください。

文章生成は、自然な文章を作り出すはたらきです。前の単語までをもとに次の単語を選ぶことをくり返して、文章を作ります。この文章生成は、主に言語モデルが担います。しくみは言語モデルのレッスンで学びました。いまの対話型の生成 AI が文章で答えられるのは、この文章生成の力によります。

理解の確認

NeRF は、複数の写真から立体的な場面を表し、撮っていない角度の画像を作ります。音声生成は音声波形を作るはたらきで音声処理のレッスンが、文章生成は文章を作るはたらきで言語モデルのレッスンが、それぞれくわしく扱いました。

拡散トランスフォーマと現在の生成 AI

ここからは、いまの生成 AI の中核を知る手がかりになります。この分野は動きが速く、代表とされる製品は1年ほどで入れ替わります。ここでは、変わりにくい手法を軸に説明し、製品名は時点を添えた例として挙げます。

まず、拡散モデルを効率よく大規模にする2つの手法があります。

ひとつは、潜在拡散モデルです。画像の画素そのものではなく、いったん圧縮した簡潔な表現の上で拡散の過程を行う手法です。扱う情報量が減るため、計算が軽くなり、高い解像度の画像も現実的な計算量で作れるようになりました。多くの画像生成 AI が、この潜在拡散の考え方を土台にしています。

もうひとつは、拡散トランスフォーマです。英語の Diffusion Transformer から DiT（ディーアイティー）とも呼ばれます。拡散モデルの内部の構造に、言語処理などで成果を上げたトランスフォーマを用いる手法です。トランスフォーマは第5章で学んだしくみで、規模を大きくするほど性能が伸びやすい性質があります。この性質を生成に持ち込み、大規模な画像生成や動画生成の土台になっています。

現在の代表例を2026年時点の例として挙げます。画像生成では、FLUX.2、Stable Diffusion 3.5、GPT Image 2 などが知られます。動画生成では、Sora 2、Veo 3、Kling などが知られます。初代の Stable Diffusion は、潜在拡散を広めた歴史的な位置づけの手法です。これらの製品名や版はすぐに移り変わるため、最新の状況はその時点の一次資料で確かめる必要があります。

理解度の確認