VQ-VAE

定義

VQ-VAEとは、変分オートエンコーダ（VAE）の潜在変数の扱い方を改良した発展的生成モデルです。潜在変数の連続性を捨てて離散的なベクトルに量子化する手法をとります。エンコーダが出力した連続ベクトルを辞書内の最も近い代表ベクトルに置き換えてデコーダに渡すことで、従来のVAE特有の復元画像のぼやけを解消し、高品質な画像や音声の生成を可能にしました。

実務での課題

実務においてVQ-VAEを実装する際は、コードブック崩壊と呼ばれる現象が問題になります。これは辞書内の一部の代表ベクトルばかりが使われ、大半のベクトルが更新されずに無駄になる現象です。開発現場では、代表ベクトルの初期化手法の工夫や指数移動平均による辞書更新を用いてこの現象を防ぎます。現代の大規模な画像生成モデルでも、画像を一度離散トークンに変換する前処理器としてVQ-VAEの構造が広く活用されています。