誤差関数

予測の間違いを数値で表す指標

誤差関数(損失関数)は、モデルの予測がどれだけ間違っているかを表す数値の指標です。モデルの予測と実際のラベルとの距離を測ります。

モデルを学習させる目標は、この誤差(損失)を最小にし、できるだけ小さな値まで下げることです。

差の向きではなく距離を見る

誤差で問題にするのは、予測と実際の値との距離です。どちらの向きにずれたかは問いません。たとえば予測が2で実際の値が5なら、差は2-5=-3とマイナスになりますが、大事なのは両者が3だけ離れているという大きさです。そのため、誤差を計算する方法はどれも差の符号を消します。

符号を消す代表的な方法は次の2つです。

• 実際の値と予測の差の絶対値を取る
• 実際の値と予測の差を2乗する

タスクに応じて使い分ける様々な誤差関数

誤差関数には様々な種類があります。回帰では、差の絶対値をもとにした平均絶対値誤差(MAE)、差の2乗をもとにした平均二乗誤差(MSE)、MSEの平方根を取った二乗平均平方根誤差(RMSE)などが使われます。複数のデータを一度に処理するときは、各データの誤差を平均する方法が推奨されています。

G検定シラバス2024では、中項目13が誤差関数にあたります。キーワードには平均二乗誤差関数に加えて、交差エントロピー、カルバック・ライブラー情報量(KL)、Contrastive Loss、Triplet Lossが挙げられています。学習目標には、代表的な誤差関数を理解することと、適用するタスクに応じて適切な誤差関数を選べることが含まれています。個々の誤差関数の定義は、それぞれの語で扱います。