オッカムの剃刀

ある事象を説明する際に、不要な仮定を増やすべきではないという思考法です。科学や統計モデルの構築において、モデルの選択基準となる重要な原則です。

仕組みとして、機械学習においては、モデルが複雑すぎると訓練データには過剰に適合してしまい、未知のデータへの汎化性能が低下します。そのため、同じ予測性能が得られるのであれば、より単純な構造を持つモデルを選択すべきであると考えます。

G検定での視点としては、過学習を防ぐための考え方として重要です。パラメータ数が多すぎるモデルは避け、モデルの複雑さを調整することが精度の向上につながるという文脈で、モデル選択の際に頻繁に言及されます。