宝くじ仮説

大きなニューラルネットワークの中には、一部の重みだけで構成された小さなサブネットワークが存在し、それが学習後に単体で元の大きなモデルと同等の性能を発揮できるという仮説です。

巨大なモデルを学習した後に、不要な重みを削除しても高い精度が出ることを理論的に示唆しています。効率的なモデル圧縮技術として注目されており、計算資源の節約につながります。

G検定では、モデルの軽量化や効率的な学習プロセスの文脈で登場します。なぜ巨大なモデルが必要なのか、そして過学習を抑えつつ効率的に学習する工夫との関連で理解しておく必要があります。