オッカムの剃刀

単純な説明とモデルを優先する考え方

オッカムの剃刀は、単純な説明やモデルを好み、複雑なものより優先するという考え方です。機械学習を含む多くの科学で、根本にある大切な原理とされています。機械学習では、単純なモデルは訓練データでの成績が少し劣ることがあっても、新しいデータに対しては複雑なモデルよりよく汎化することが多い、という形で現れます。

古代ギリシャからウィリアム・オブ・オッカムへ

単純さを好む考え方は古代ギリシャにまでさかのぼります。その何世紀も後に、14世紀の修道士ウィリアム・オブ・オッカムがこの考え方を定式化し、オッカムの剃刀として知られるようになりました。

複雑なモデルとまっすぐな線の比較

複雑な形の境界を持つモデルが、テストデータの多くの例を誤って分類していたとします。このモデルを、まっすぐな線という極端に単純なモデルに置き換えると、新しいデータに対しては単純なモデルの方がよく汎化し、テストデータでより良い予測をする、という状況が起こりえます。一般に、訓練データでは複雑なモデルが単純なモデルを上回ることが多いものの、テストデータでは単純なモデルが上回ることが多く、重要なのはテストデータでの成績の方です。

損失と複雑さのバランス

訓練で損失を最小にすることだけを目指したモデルは、過学習しやすくなります。モデルは、データによく当てはまることと、できるだけ単純に当てはまることという、ぶつかり合う2つの目標を同時に満たす必要があります。そこで、損失と複雑さを組み合わせたもの(損失+複雑さ)を最小化する考え方が取られます。ただし、複雑さを上げると損失は下がり、複雑さを下げると損失は上がるというように、両者はふつう逆の関係にあります。そのため、訓練データでも実際のデータでも良い予測ができるよう、両者の間で妥当な落としどころを見つけることが求められます。複雑なモデルにペナルティを与えて訓練中に単純さを保たせることは、正則化の一つの形です。

複雑さを数値で表す方法

複雑さは、モデルの重みの関数として数値で表すことができ、この指標はL1正則化と呼ばれます。重みの2乗の関数として表すものはL2正則化と呼ばれます。

シラバスでの位置づけ

オッカムの剃刀は、G検定シラバス2024の中項目10 モデルの選択・評価のキーワードに含まれています。