ラッソ回帰

ラッソ回帰が何をする手法か

ラッソ回帰は、線形回帰の係数の決め方を変えた手法です。ふつうの最小二乗法による線形回帰では、予測値と実際の値の差である残差を2乗して足し合わせた残差平方和が最も小さくなるように、各説明変数の係数を決めます。ラッソ回帰も残差平方和を最小にする点は同じですが、そこに「係数の絶対値の合計が、あらかじめ決めた定数を超えてはならない」という制約を加えます。

この手法は、ロバート・ティブシラニ(Robert Tibshirani)が1996年の論文 "Regression Shrinkage and Selection via the Lasso." (Journal of the Royal Statistical Society. Series B (Methodological), Vol.58, No.1, pp.267-288)で提案しました。論文の要旨は、ラッソを「係数の絶対値の合計が定数より小さいという条件のもとで残差平方和を最小にするもの」と説明しています。

名前の由来

ラッソ(lasso)は、ティブシラニが論文の中で 'least absolute shrinkage and selection operator' の略だと述べている名前です。直訳すると「最小の絶対値による縮小と選択の演算子」となり、手法の中身がそのまま名前に入っています。絶対値(absolute)は制約に係数の絶対値の合計を使うことを指し、縮小(shrinkage)は係数を最小二乗法のときより小さく抑えることを指し、選択(selection)は説明変数を選び出すことを指します。

係数が正確に0になるということ

ティブシラニは論文で、ラッソの制約はその性質上、いくつかの係数を正確に0にする傾向があると述べています。係数が0になった説明変数は、予測の式から実質的に消えます。つまりラッソ回帰では、係数を小さくする操作の結果として、予測に使う説明変数の取捨選択も起こります。

たとえば、架空の例として、住宅の価格を築年数・広さ・駅からの距離・部屋数など多くの説明変数で予測する場面を考えます。ラッソ回帰で係数を求めると、一部の説明変数の係数が0になり、残った説明変数だけで価格を表す式が得られることがあります。どの係数が0になるかは、データと制約の定数の大きさによって変わります。制約の定数は、係数の絶対値の合計にどこまでの大きさを許すかを決める値です。

変数選択とリッジ回帰の間に置かれた手法

論文によると、ラッソは、変数選択(subset selection)とリッジ回帰という2つの既存の方法の、それぞれの望ましい性質を併せ持つように設計されました。

変数選択は、多くの説明変数の中から一部の組み合わせを選び、選んだ変数だけで回帰を行う方法です。使う変数が減るため、どの変数で予測しているのかを読み取りやすい式になります。

リッジ回帰は、係数の2乗の合計に制約を置いて係数を縮める方法です。ラッソ回帰とリッジ回帰は、どちらも係数の大きさに制約を課して係数を縮めるという点で共通しています。違いは制約に使う量で、ラッソ回帰が使うのは係数の絶対値の合計で、リッジ回帰が使うのは係数の2乗の合計です。ラッソ回帰が一部の係数を正確に0にする傾向は、この絶対値の合計という制約の性質から生じると論文は説明しています。

係数の絶対値の合計を使って係数の大きさを抑える考え方は、機械学習ではL1正則化と呼ばれます。ラッソ回帰は、線形回帰にこの考え方を当てはめた代表的な手法として位置づけられます。ここで説明した「制約の下で最小化する」という形と、L1正則化のページで説明する「目的関数にペナルティ項を加える」という形は、見た目が異なりますが、適切な係数(α)を選べば同じ解に対応することが知られています。

読むときに注意したい点

係数が0になる傾向があるといっても、すべての場面で決まった数の係数が0になるわけではありません。論文が述べているのは「いくつかの係数を正確に0にする傾向がある」ということです。

また、ラッソ回帰が0にした説明変数は、そのデータとその制約の強さのもとでは予測の式から外れたというだけです。その説明変数が現実の現象と無関係であることまでは、この結果だけからは言えません。