InfoVAE

VAEのしくみ

変分オートエンコーダ（VAE）は、入力データと、そのデータを生み出す要因を表す潜在変数の関係を学習する生成モデルです。エンコーダは入力データから潜在変数の分布を推定し、デコーダは潜在変数からデータの分布を復元します。学習目標は、再構成の精度と、エンコーダが出す潜在変数の分布を事前分布（多くは標準正規分布）に近づける項の和として定式化され、この目的関数は証拠下界（Evidence Lower Bound、ELBO）と呼ばれます。ELBOは、データの対数尤度log p(x)の下界にあたります。学習後は事前分布から潜在変数をサンプリングし、デコーダに通すことで新しいデータを生成できます。

事後崩壊（Posterior Collapse）と推定誤差の課題

デコーダの表現力が十分に高い場合、モデルは潜在変数の情報にほとんど依存せずにデータの分布を学習できることがあります。このとき、異なる入力に対してエンコーダが推定する潜在変数の分布がほとんど変わらず、潜在変数は入力を区別する情報を保持しなくなります。この現象は事後崩壊（posterior collapse）と呼ばれます。生成されたデータの見た目の質と、潜在変数が入力の情報をどれだけ保持しているかは、独立した評価軸です。

もう一つの課題は、エンコーダによる事後分布の近似精度です。エンコーダが出力する近似分布は、学習済みの生成モデルから導かれる真の事後分布を十分に近似できないことがあります。InfoVAEの原論文は、この推定誤差の問題と事後崩壊の問題を、いずれも従来の学習目標（ELBOの構成）に起因するものとして扱っています。

InfoVAEが変えた学習の考え方

InfoVAEは、VAEの学習目標に相互情報量の項を追加し、データの再構成・エンコーダの推定精度・潜在変数に保持する情報量のバランスを明示的に調整できるようにした枠組みです。相互情報量I(x; z)は、潜在変数zを知ることで入力xについてどれだけ不確実性が減るかを表す量です。原論文はこれを目的関数に重みαで加えます（αI(x; z)）。名前の「Info」はこの相互情報量（information）に由来します。初期の論文題名「InfoVAE: Information Maximizing Variational Autoencoders」もこれを示しています。

入力によらず潜在変数がほとんど変わらない状態は、相互情報量が小さいことに対応します。InfoVAEは目的関数にこの項を加えることで、潜在変数への依存を高める方向へ学習を誘導します。相互情報量の最大化だけを目的にすると、生成モデルとしての妥当性や潜在変数の分布の適切さが損なわれるおそれがあります。そのため原論文は、相互情報量の項と既存のELBOの項を同時に最適化する構成を示しています。

InfoVAEはさらに、潜在変数の分布全体を事前分布に近づける項について、KLダイバージェンス以外の発散尺度も選べる枠組みとして定式化されています。MMD-VAEは、この発散尺度に最大平均不一致度（MMD）を選んだ場合の具体例であり、InfoVAEから独立した後継モデルではありません。

関連モデルとの違い

通常のVAEは、再構成の精度と潜在変数の分布に関する制約を、単一のELBOのもとで暗黙的に両立させます。InfoVAEは、この両立の度合いを相互情報量の項によって明示的に調整します。

β-VAEも学習目標を調整する手法ですが、主眼は潜在変数の各次元が独立した生成要因を表すこと（disentanglement）にあります。原論文は、パラメータの条件（λ > 0、α + λ − 1 = 0）を満たす場合にβ-VAEをInfoVAEの枠組みに含められることを示しています。両者は無関係な対立手法ではなく、共通の目的関数の特殊形の関係にあります。

VQ-VAEは、潜在表現を連続値ではなく離散的なコードとして扱う点が異なります。InfoVAEとは「潜在表現をどう表現するか」という別の軸での設計選択です。

提案の経緯（2017/2019）と適用上の限界

InfoVAEの原稿は2017年に公開され、2019年にAAAIの論文として掲載されました。原稿の題名は「InfoVAE: Information Maximizing Variational Autoencoders」、掲載論文の題名は「InfoVAE: Balancing Learning and Inference in Variational Autoencoders」です。この題名の変化は、手法の主眼が相互情報量の最大化から学習と推定のバランスへ移ったことに対応しています。

InfoVAEは事後崩壊と推定誤差を緩和するための設計であり、あらゆるデータやデコーダの構成で事後崩壊を防ぐことや、生成結果の質を一律に改善することを保証するものではありません。適用に際しては、生成されたデータの評価に加えて、潜在変数が入力の違いをどれだけ保持しているかを別途確認する必要があります。