汎化性能

汎化性能が表すもの

汎化性能とは、モデルが新しい未知のデータに対してどれだけ正確に予測できるかという性質です。モデルは訓練データで学習しますが、その価値が本当に試されるのは、新しい例、とくに現実のデータに対する予測です。モデルを開発している間は、テストデータが現実のデータの代わりを務めます。新しいデータで正確に予測できるモデルは、汎化がうまくできている、つまり過学習していないと考えられます。

過学習と未学習との違い

汎化は過学習の反対の概念です。過学習したモデルは、訓練データを覚え込むほどぴったり合わせたため、新しいデータでは正しく予測できません。実験室ではうまく動くのに、現実の世界では役に立たない発明にたとえられます。一方、未学習(underfitting)のモデルは、訓練データに対してさえ良い予測ができません。開発の目標は、訓練データにも新しいデータにも良い予測ができるモデル、すなわち汎化性能の高いモデルを作ることです。

汎化曲線で過学習を見分ける

損失曲線(loss curve)は、学習の反復回数に対するモデルの損失をグラフにしたものです。2本以上の損失曲線を並べたグラフを汎化曲線(generalization curve)と呼びます。訓練データと検証データの2本の損失曲線が、最初は同じように動き、ある反復回数を過ぎると離れていく場合は、過学習が強く疑われます。このとき訓練データの損失は下がるか横ばい(収束)になり、検証データの損失は増えていきます。うまく適合したモデルでは、2本の曲線が似た形になります。

過学習の原因とデータセットの条件

過学習は、次の一方または両方が原因で起こります。

• 訓練データが、現実のデータ(または検証データやテストデータ)を十分に代表していない
• モデルが複雑すぎる

汎化性能の高いモデルを訓練するには、データセットが次の条件を満たす必要があります。

• 各例が独立同分布(i.i.d.)である。つまり、例どうしが互いに影響し合わない
• データセットが定常である。つまり、時間がたっても大きく変化しない
• 分割した各データの分布が同じである。つまり、訓練データの例が、検証データ・テストデータ・現実のデータの例と統計的に似ている

試験範囲での位置づけ

G検定シラバス2024(第1.4版)では、中項目10 モデルの選択・評価のキーワードに汎化性能が含まれています。学習目標には、訓練誤差と汎化誤差の違いを説明できることと、汎化性能の悪化につながる代表的な現象を列挙・説明できることが挙げられています。