交差エントロピー

交差エントロピーは、2つの確率分布がどれくらい似ているか、あるいは異なっているかを測る尺度です。ディープラーニングの分類問題において、予測した確率分布と正解ラベルの分布との距離を測る誤差関数として広く利用されています。

機械学習の学習過程では、この交差エントロピーを最小化するようにモデルのパラメータを更新します。値が小さいほど予測が正解に近く、モデルの精度が高いことを意味します。この関数は、学習の収束が早く安定しやすいため、多クラス分類などのタスクで標準的に採用されます。

G検定では、分類問題における損失関数の代表例として確実に押さえておくべき語句です。回帰問題で使われる平均二乗誤差と対比させて覚えることが効率的です。損失関数が予測値と真値の差異をどう計算するのかという役割を理解しておくことが重要です。