リッジ回帰

リッジ回帰とは何か

リッジ回帰(ridge regression)は、ディープラーニングの分野でL2正則化と呼ばれている考え方について、別の学術分野で使われる呼び名です。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による2016年の教科書『Deep Learning』第7章は、L2パラメータ正則化を説明する節で「他の学術分野では、L2正則化はリッジ回帰やティホノフ正則化とも呼ばれる」(In other academic communities, L2 regularization is also known as ridge regression or Tikhonov regularization)と書いています。

つまり、リッジ回帰とL2正則化は、同じ考え方に付いた別の名前として対応しています。ディープラーニングの教材では「L2正則化」や「重み減衰(weight decay)」という名前で出てくることが多く、統計や回帰分析の文脈では「リッジ回帰」という名前で出てきます。名前が違っても、次の節で説明する同じ仕組みを指していると読み替えられます。

目的関数に加える項の形

グッドフェローらの教科書では、L2正則化を次のように説明しています。学習では、予測の誤りの大きさを表す目的関数 $J(w;X,y)$ を小さくするように重み $w$ を調整します。L2正則化では、この目的関数に正則化項

$$\Omega (\theta )=\frac{1}{2}\Vert w{\Vert }_2^2$$

を加えます。$\Vert w{\Vert }_2^2$ は重みの各成分を二乗して足し合わせた値で、$w^{\top }w$ とも書けます。正則化項を加えたあとの目的関数は、教科書の式7.2で次の形になっています。

$$\tilde{J}(w;X,y)=\frac{\alpha }{2}{w}^{\top }w+J(w;X,y)$$

ここで $\alpha$ は、元の目的関数に対して正則化項をどれだけ重く効かせるかを決める係数です。重みの成分が大きいほど $w^{\top }w$ も大きくなるので、学習は予測の誤りを小さくすることと、重みを大きくしすぎないことの両方を同時に満たす方向へ進みます。教科書は、この戦略が重みを原点に近づけるものだと説明しています。

小さな数値例で追加される項を比べる

以下の数値は説明のために作った架空の例です。重みが2つの成分を持ち、$\alpha =0.1$ とします。

重みが $w=(3,4)$ のとき、$w^{\top }w=3^2+4^2=25$ なので、目的関数に加わる値は $\frac{0.1}{2}\times 25=1.25$ です。

重みが $w=(0.3,0.4)$ のとき、$w^{\top }w=0.09+0.16=0.25$ なので、加わる値は $\frac{0.1}{2}\times 0.25=0.0125$ です。

2つの重みは向きが同じで、大きさだけが10倍違います。それに対して加わる値は100倍違います。成分を二乗して足すため、原点から遠い重みほど加わる値が急に大きくなります。元の目的関数 $J$ の値が同じくらいなら、学習は原点に近い重みのほうを選びやすくなります。これが「重みを原点に近づける」という説明の中身です。

題名に「Ridge Regression」を掲げた1970年の論文

リッジ回帰という名前を題名に持つ論文として、アーサー・E・ホーレル(Arthur E. Hoerl)とロバート・W・ケナード(Robert W. Kennard)による1970年の論文「Ridge Regression: Biased Estimation for Nonorthogonal Problems.」があります。掲載誌は学術誌『Technometrics』の第12巻第1号で、55ページから67ページに載っています。題名を日本語にすると「リッジ回帰: 非直交な問題のための偏りのある推定」となります。

このページでは、この論文の本文にある具体的な提案の内容や式までは確かめていません。リッジ回帰とL2正則化の対応は、前の節までに引いたグッドフェローらの教科書の記述にもとづいて説明しています。

関連する語との関係

リッジ回帰は正則化の手法の1つであるL2正則化の別名なので、正則化という大きなまとまりの中に位置づけられます。L2正則化の仕組みをディープラーニングの文脈で詳しく知りたいときは、L2正則化のページを読むとつながりが分かります。

回帰の名前を持つ正則化の手法としては、ほかにラッソ回帰があります。ラッソ回帰は係数の絶対値の合計を制約に使う点でリッジ回帰(係数の2乗の合計を制約に使う)と異なり、詳しくはラッソ回帰のページで説明しています。リッジ回帰自身は、このページの上の節で示した「目的関数に項を加える」形で説明していますが、係数の大きさに上限を設ける「制約」の形で説明されることもあります。2つの形は、適切な係数(α)を選べば同じ解に対応することが知られています。