蒸留

蒸留とは、巨大なニューラルネットワーク（教師モデル）の知識を、より小さく軽量なニューラルネットワーク（生徒モデル）へ継承させる技術です。モデルの推論速度を上げつつ、精度を極力維持したい場合に有効です。実世界でのAI活用において、ハードウェアリソースが限られた環境での動作を可能にします。

この仕組みは、生徒モデルを教師モデルの出力に模倣させることで実現します。単なる正解ラベルだけでなく、教師モデルが予測したクラスごとの確率分布（ソフトターゲット）を参考にすることで、よりきめ細やかな知識を生徒モデルに伝えます。これにより、モデルのパラメータ数が大幅に減っても、教師モデルに近い推論性能を発揮できます。

G検定では、モデルの軽量化や最適化手法として重要な知識です。複雑で巨大なモデルは精度が高い一方で推論コストが大きいため、実用化の過程で蒸留が頻繁に使われます。性能を維持しながら効率化を図るという、AI開発におけるトレードオフ解決の戦略として押さえておくとよいでしょう。