相互情報量

相互情報量は、二つの確率変数がどれだけ関連しているか、あるいは一方が分かったときにもう一方の不確実性がどれだけ減少するかを示す指標です。情報理論における重要な概念であり、データの依存関係を測るために用いられます。

この指標は、線形な関係しか測れない相関係数とは異なり、非線形な関係も含めた情報の共有度合いを評価できます。例えば、二つの変数間に複雑な依存関係がある場合でも、相互情報量を計算することで、それらがどの程度関連しているかを定量化することが可能です。

G検定では、データの関係性を評価する手法の一つとして登場します。特に特徴量選択や機械学習モデルの評価において、変数間の依存度を測る尺度として活用される場面が重要です。相関係数との違いを明確にし、非線形関係も扱える点に注目してください。