正則化

汎化誤差を減らすための修正の総称

正則化は、学習アルゴリズムに加える修正のうち、汎化誤差を減らすことを意図し、訓練誤差を減らすことは意図しないものを広く指す言葉です。英語ではRegularizationと呼ばれます。

この定義には2種類の誤差が出てきます。訓練誤差は、学習に使ったデータに対してモデルがどれだけ間違えるかを表します。汎化誤差は、学習に使っていない未知のデータに対してモデルがどれだけ間違えるかを表します。機械学習で本当に知りたいのは、手元にない新しいデータに対する予測の良さです。そのため、訓練誤差が小さくても汎化誤差が大きいモデルは役に立ちません。訓練データの細かな癖まで覚え込み、未知のデータに当てはまらなくなる現象は過学習と呼ばれます。正則化は、この過学習を抑える工夫をまとめて呼ぶ名前だと考えると分かりやすくなります。

この広い定義は、イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第7章の冒頭で示されています。

定義の後半が意味すること

定義の前半は「汎化誤差を減らすことを意図する」、後半は「訓練誤差を減らすことは意図しない」です。後半があることで、正則化はモデルの当てはまりを良くする一般的な改良と区別されます。

たとえば、学習の回数を増やしたり、より表現力の高いモデルに取り替えたりする変更は、主に訓練データへの当てはまりを良くすることを狙っています。これらは定義の後半に合わないので、正則化とは呼びません。反対に、訓練データへの当てはまりを良くすることは狙わず、未知のデータでの成績を良くすることだけを狙う修正が正則化です。何をしたかという手段ではなく、何を狙った修正かという意図で決まる点が、この定義の特徴です。

正則化にはさまざまな戦略がある

グッドフェローらは、この定義に続けて、正則化には多くの戦略があると述べています。その例として、パラメータの値に制約を加える戦略と、学習で最小化する目的関数に追加の項を加える戦略を挙げています。

目的関数に項を加える戦略の代表は、損失関数にパラメータの大きさに応じたペナルティ項を足す方法です。L1正則化やL2正則化はこの形に当たります。一方、パラメータの値に制約を加える戦略は、損失関数に項を足さずに、パラメータがとれる値そのものを制限します。ペナルティ項の追加は、正則化という大きな枠の中にある戦略の一つです。

ドロップアウトとデータ拡張も正則化に含まれる

広い定義に照らすと、ペナルティ項を使わない手法も正則化として自然に位置づけられます。

ドロップアウトは、ニューラルネットワークの学習中に一部のユニットをランダムに働かせないようにする手法です。損失関数に項を足すのではなく、学習のたびにモデルの一部を使えなくするという形でモデルの側に制約を加えます。目的は未知のデータに対する成績を良くすることなので、正則化の一種に当たります。

データ拡張は、手元の学習データに正解を変えない変換を加えて学習例を増やす手法です。モデルやパラメータには手を加えず、学習に使うデータの側を変えます。この手法も、訓練データへの当てはまりを良くするためではなく、未知のデータでの成績を良くするために使われます。グッドフェローらの教科書でも、データ拡張は正則化を扱う第7章の中で説明されています。

このように、正則化かどうかはペナルティ項があるかどうかでは決まりません。汎化誤差を減らす意図で学習アルゴリズムに加えた修正であれば、モデル、パラメータ、データのどこに手を加える手法であっても正則化に含まれます。

狭い意味で使われる場面との付き合い方

解説記事などでは、正則化を「損失関数にペナルティ項を加える手法」という意味で使うことがあります。L1正則化やL2正則化のように、名前に正則化と付く代表的な手法がこの形をしているためです。

ただし、この狭い使い方だけで理解すると、ドロップアウトやデータ拡張を正則化の外に置いてしまい、手法どうしの関係を見誤ります。ペナルティ項は正則化の代表的な戦略の一つであり、正則化そのものはそれより広い考え方だと整理しておくと、個々の手法の位置づけがはっきりします。