L2 正則化

重みの大きさに罰を与える項

機械学習のモデルは、訓練データに対する誤差などを表す目的関数 $J$ が小さくなるように重み $w$ を調整します。L2正則化は、この目的関数に「重みが大きいほど大きくなる項」を足します。こうすると学習は、誤差を減らすことと重みを小さく保つことの両方を同時に求めるようになります。

イアン・グッドフェロー(Ian Goodfellow)らの教科書 Deep Learning(2016年)の第7章は、目的関数に正則化項を加えて重みを原点に近づける戦略としてL2パラメータ正則化を説明しています。そもそもなぜ学習に制約を加えるのかという正則化全体の目的は、正則化の項で扱います。

正則化項と正則化された目的関数の式

L2正則化の正則化項 $\Omega$ は、重みベクトル $w$ の各成分を二乗して足し合わせ、半分にしたものです。

$$\Omega (\theta )=\frac{1}{2}\Vert w{\Vert }_2^2$$

$\Vert w{\Vert }_2$ は $w$ のL2ノルムで、各成分の二乗和の平方根、つまりベクトルの長さを表します。これを二乗しているので平方根が外れ、単純な二乗和になります。「L2」という名前は、このL2ノルムを使うことを指しています。

この項に係数を付けて元の目的関数に足したものが、正則化された目的関数です。教科書では式7.2として次の形で示されています。

$$\tilde{J}(w;X,y)=\frac{\alpha }{2}{w}^{\top }w+J(w;X,y)$$

$X$ は入力データ、$y$ は正解の値、$J$ は正則化を入れる前の目的関数です。$w^{\top }w$ は $w$ と自分自身との内積で、各成分の二乗和 $\Vert w{\Vert }_2^2$ と同じ値になります。$\alpha$ は正則化項をどれだけ重く見るかを決める係数で、学習を始める前に人が決めるハイパーパラメータです。

数値で計算してみる

重みが3つのモデルを考え、ある時点の重みを $w=(3,-1,2)$、係数を $\alpha =0.1$ とします。まず重みの二乗和を求めます。

$$w^{\top }w=3^2+(-1{)}^2+2^2=9+1+4=14$$

正則化項 $\Omega$ はその半分なので7です。目的関数に実際に足されるペナルティは、二乗和に $\alpha /2$ を掛けた値です。

$$\frac{\alpha }{2}{w}^{\top }w=\frac{0.1}{2}\times 14=0.7$$

元の目的関数の値が $J=2.3$ だったとすると、正則化された目的関数の値は $\tilde{J}=0.7+2.3=3.0$ になります。学習はこの3.0を小さくする方向へ重みを動かします。そのため、誤差にあたる2.3を減らすだけでなく、ペナルティの0.7を減らすこと、つまり重みを0に近づけることも同時に目指します。

二乗していることの効果も、この例から読み取れます。二乗和14のうち、絶対値が最も大きい重み3だけで9を占めています。重み3を半分の1.5にすると、その二乗は2.25になり、二乗和は $2.25+1+4=7.25$ まで下がります。一方で重み $-1$ を半分の $-0.5$ にしても、二乗和は $9+0.25+4=13.25$ にしか下がりません。同じように半分にしても、大きな重みを縮めたほうがペナルティは大きく減ります。L2正則化の項は、とくに大きな重みを強く抑える形をしています。

係数αの大きさで何が変わるか

$\alpha =0$ のとき、正則化項は0になります。この場合は元の目的関数 $J$ だけを小さくする、正則化なしの学習と同じです。

$\alpha$ を大きくするほど、同じ重みに対するペナルティは大きくなります。上の例で $\alpha =1$ にすると、ペナルティは $\frac{1}{2}\times 14=7$ となり、元の目的関数の値2.3の3倍を超えます。こうなると、目的関数全体を小さくするうえでは、誤差を減らすことよりも重みを原点へ近づけることのほうが効くようになります。$\alpha$ を大きくしすぎると、重みは小さく保たれる代わりに、元の目的関数 $J$ の値が十分に下がらないことがあります。$\alpha$ の大きさは、誤差を減らすことと重みを小さく保つことの釣り合いを決める値だと読めます。

重み減衰やリッジ回帰という別の呼び名

深層学習の文脈では、L2正則化は重み減衰(weight decay)とも呼ばれます。また教科書は、ほかの学術分野ではL2正則化がリッジ回帰(ridge regression)やティホノフ正則化(Tikhonov regularization)とも呼ばれていると述べています。問題文や資料で重み減衰、リッジ回帰、ティホノフ正則化のどの名前が出てきても、重みの二乗和に比例する項を目的関数に足すという同じ考え方を指していると読み取れます。