過学習

過学習とは、機械学習モデルの学習において、訓練データに対しては高い精度を出すものの、未知の新しいデータに対しては予測精度が低下してしまう現象のことです。モデルが訓練データを細部まで覚え込みすぎてしまい、データの本来の傾向やパターンではなく、訓練データ特有のノイズや偶然のパターンまで学習してしまった結果として起こります。

過学習が発生する主な原因は、モデルの複雑さが訓練データの量に対して過剰であることです。パラメータ数が多すぎるニューラルネットワークなどが代表的で、データ量に対して学習回数が多すぎたり、モデルの表現力が強すぎたりする場合に発生しやすくなります。この状態では、訓練データには完璧に近い精度を示しますが、実運用で未知のデータに適用すると、期待した結果が得られません。

試験では、過学習を抑制するための手法が問われます。データ量を増やすことでモデルの偏りを抑える、複雑すぎるモデルを単純化する、学習途中で打ち切る早期終了、一部のニューロンを無効化するドロップアウトなどが対策として挙げられます。訓練データへの適合度だけを追求してはいけないという点が、学習モデル構築時の重要な教訓です。