重回帰分析

統計学での呼び分け

重回帰分析は、統計学の分野で使われる呼び方です。統計学では、目的変数を説明変数の一次式で表す回帰分析のうち、説明変数が1個のものを単回帰分析、2個以上のものを重回帰分析と呼び分けます。

一方、機械学習の分野では、説明変数の数で名前を分けず、1個でも複数でもまとめて線形回帰と呼びます。たとえばイアン・グッドフェロー（Ian Goodfellow）、ヨシュア・ベンジオ（Yoshua Bengio）、アーロン・クールヴィル（Aaron Courville）による教科書『Deep Learning』（2016年）の第5章では、線形回帰を「ベクトル x を入力として受け取り、スカラー y の値を出力として予測するシステムを作ること」と定義し、予測値を次の式で表しています。

y_hat = w^T * x

ここで w はパラメータのベクトルです。x の要素が2個以上あっても同じ式で書けるので、この教科書は重回帰という語を使っていません。重回帰分析と機械学習でいう線形回帰は、説明変数が複数の場合について同じ形のモデルを指しており、違いは主に呼び方の側にあります。

単回帰分析との違い

説明変数の数とモデルの形

単回帰分析のモデルは、説明変数を x、係数を b0・b1 として次のように書けます。

y_hat = b0 + b1 * x

重回帰分析では、説明変数 x1, x2, ..., xn を並べて次のように書きます。

y_hat = b0 + b1 * x1 + b2 * x2 + ... + bn * xn

アメリカ国立標準技術研究所（NIST）の統計手法ハンドブック『NIST/SEMATECH e-Handbook of Statistical Methods』は、線形モデルの一般形をこれと同じ形で示し、線形モデルは直線や平面に限られず、かなり広い範囲の形を含むと述べています。説明変数が1個なら当てはめる形は直線、2個なら平面になり、3個以上ではそれより次元の高い形になります。単回帰分析が直線の当てはめであるのに対し、重回帰分析は平面やそれ以上の形の当てはめだと捉えると、両者の関係がつかみやすくなります。

固有の影響度を評価できる点

単回帰分析では、説明変数が1個しかないので、その変数と目的変数の関係に、ほかの要因の影響が混ざっていても切り分けられません。

重回帰分析では、複数の説明変数を同時にモデルに入れます。このとき各説明変数の係数は、ほかの説明変数の値を一定にしたときに、その説明変数が1単位増えると目的変数がどれだけ変わるかを表すものとして読みます。統計学ではこの係数を偏回帰係数と呼びます。つまり重回帰分析では、ほかの要因の影響を統計的に取り除いたうえで、それぞれの説明変数が目的変数に与える固有の影響の大きさを評価できます。

たとえば売上を広告費だけで説明する単回帰分析では、広告費の係数に、広告費と一緒に動きやすい別の要因の影響が混ざることがあります。広告費と別の要因を同時に説明変数として入れた重回帰分析なら、別の要因の影響を分けたうえで広告費の影響を見積もれます。

説明変数を増やすときの注意

説明変数が複数あるため、説明変数どうしが強く関係し合っていると、どの変数の影響なのかを分けにくくなり、係数の推定が不安定になることがあります。統計学ではこの状態を多重共線性と呼びます。また、説明変数ごとに単位が違うと係数の大きさをそのまま比べられないため、変数の尺度をそろえてから比べる工夫が一般に行われます。こうした点は、説明変数が1個の単回帰分析では生じない、重回帰分析に特有の注意点です。

まとめ

重回帰分析という語は統計学の呼び分けであり、機械学習の文脈では同じモデルが線形回帰の名前で扱われる点を押さえておくと、両方の分野の説明を読み比べやすくなります。