カルバック・ライブラー情報量 (KL)

カルバック・ライブラー情報量とは、2つの確率分布がどれくらい異なるかを測るための指標です。機械学習では、モデルが予測した確率分布と、実際のデータの確率分布との間の乖離度を評価するために用いられます。

数学的には、一方の確率分布を基準としたときの、もう一方の確率分布による情報の損失量を計算します。距離のような概念ですが、PとQの順序を入れ替えると値が変わるという非対称性があるため、厳密には距離ではありません。

G検定では、ニューラルネットワークの学習で最小化すべき損失関数（交差エントロピー誤差など）の理論的背景として問われます。交差エントロピーと密接な関係があり、モデルの予測精度を向上させるための最適化において不可欠な概念です。