L1 正則化

パラメータの絶対値の和をペナルティにする

正則化には複数の戦略があり(正則化の項目を参照)、そのうちの一つが目的関数に追加の項を加える戦略です。L1正則化は、この戦略の中で、パラメータの絶対値の和をペナルティとして目的関数に加える方法です。

モデルの重みのパラメータを $w=(w_1,w_2,\dots ,w_n)$ と書くと、L1 正則化のペナルティ項 $\Omega$ は次の式で表されます。

$$\Omega (\theta )=\Vert w{\Vert }_1=\sum _i|w_i|$$

記号 $\Vert w{\Vert }_1$ はL1ノルムと呼ばれ、各パラメータの符号を取り去った大きさを全部足した値を表します。正の重みも負の重みも、0から離れているほどペナルティを大きくします。

正則化された目的関数とαの役割

L1 正則化を加えた目的関数 $\tilde{J}$ は、元の目的関数 $J$ にペナルティ項を足した形になります。$X$ は入力データ、$y$ は正解の値です。

$$\tilde{J}(w;X,y)=\alpha \Vert w{\Vert }_1+J(w;X,y)$$

係数 $\alpha$ は、ペナルティ項をどれだけ重く見るかを決める値です。$\alpha$ が0ならペナルティ項は消えて元の目的関数と同じになり、$\alpha$ を大きくするほど、パラメータの絶対値の和を小さく保つことが学習の中で重視されます。

数値で見るペナルティの計算

架空の例として、重みが $w=(0.5,-2.0,0,1.5)$ のモデルを考えます。絶対値を取って足すと、L1ノルムは次のとおりです。

$$\Vert w{\Vert }_1=|0.5|+|-2.0|+|0|+|1.5|=0.5+2.0+0+1.5=4.0$$

負の値 $-2.0$ も、絶対値を取るため $2.0$ として足されます。値が0の重みはペナルティに何も加えません。

同じ重みでも、$\alpha$ を変えるとペナルティ項 $\alpha \Vert w{\Vert }_1$ の大きさが変わります。$\alpha =0.01$ なら $0.01\times 4.0=0.04$、$\alpha =0.1$ なら $0.1\times 4.0=0.4$、$\alpha =1$ なら $1\times 4.0=4.0$ です。$\alpha$ を10倍にすると、ペナルティも10倍になります。

αによって選ばれる重みが変わる例

次に、学習の途中で2つの重みの候補を比べる場面を考えます。数値はすべて架空です。候補Aは上と同じ $w_A=(0.5,-2.0,0,1.5)$ で、元の目的関数の値が $J=0.80$ だとします。候補Bは2番目の重みも0にした $w_B=(0.5,0,0,1.5)$ で、データへの当てはまりが少し悪く $J=0.95$ だとします。候補BのL1ノルムは $0.5+0+0+1.5=2.0$ です。

$\alpha =0.01$ のとき、候補Aの $\tilde{J}$ は $0.01\times 4.0+0.80=0.84$、候補Bは $0.01\times 2.0+0.95=0.97$ です。値が小さい候補Aのほうが目的関数の上では望ましくなります。

$\alpha =0.1$ のとき、候補Aは $0.1\times 4.0+0.80=1.20$、候補Bは $0.1\times 2.0+0.95=1.15$ です。今度は、0の重みが多い候補Bのほうが値が小さくなります。

この例は、$\alpha$ を大きくすると、データへの当てはまりを多少犠牲にしてでもパラメータの絶対値の和が小さい候補が選ばれやすくなることを示しています。$\alpha$ を大きくしすぎると当てはまりの悪さがペナルティの減少で埋め合わされてしまうため、$\alpha$ は調整が必要な値です。

L2 正則化と違う点はスパース性

L1 正則化の特徴は、学習の結果として一部のパラメータの最適値が正確に0になることです。この性質をスパース性と呼びます。スパースとは、多くの要素が0で、0でない要素がまばらにしか無い状態を指します。

L2 正則化も目的関数にパラメータの大きさのペナルティを足す点ではL1 正則化と同じです。しかしL1 正則化のスパース性は、L2 正則化とは質的に異なる性質とされています。違いを見るときは、ペナルティが絶対値の和か別の形かという式の違いと、最適な重みが正確に0になるかという結果の違いを対にして押さえると整理しやすくなります。L2 正則化の式と振る舞いは、L2 正則化の項で説明しています。