線形回帰

線形回帰とは

線形回帰は、入力として受け取ったベクトルから、1つの数値を予測する仕組みです。グッドフェロー(Ian Goodfellow)、ベンジオ(Yoshua Bengio)、クールヴィル(Aaron Courville)の教科書『Deep Learning』(2016年)は、第5章の例として線形回帰を取り上げ、目標を次のように述べています。n 個の数値を並べたベクトル x を入力に取り、スカラー(1つの実数)の値 y を出力として予測するシステムを作ることです。

同書によると、線形回帰の出力は入力の線形関数です。予測値は次の式で表されます。

y_hat = w^T * x

ここで y_hat は y の予測値、w は n 個の数値を並べたパラメータのベクトルです。w^T * x は、w と x の対応する成分どうしを掛けて足し合わせた値、すなわち次の和を表します。

y_hat = w_1 * x_1 + w_2 * x_2 + ... + w_n * x_n

重みが予測に与える影響

w の各成分 w_i は、特徴量 x_i が予測にどれだけ影響するかを決める重みです。同書は重みの意味を次のように説明しています。

• w_i が正の値なら、x_i が増えると予測値 y_hat も増える
• w_i が負の値なら、x_i が増えると予測値 y_hat は減る
• w_i の絶対値が大きいほど、x_i が予測に与える影響は大きい

計算の例

式 y_hat = w^T * x に数を入れてみます。特徴量が2個で、重みが w = (2, -1)、入力が x = (3, 4) のとき、予測値は次のとおりです。

y_hat = 2 * 3 + (-1) * 4 = 6 - 4 = 2

この例で x_1 だけを 3 から 4 に1増やすと、y_hat = 2 * 4 + (-1) * 4 = 4 となり、予測値は 2 増えます。重み w_1 = 2 が正なので予測は増えます。反対に x_2 だけを 4 から 5 に1増やすと、y_hat = 2 * 3 + (-1) * 5 = 1 となり、予測値は 1 減ります。重み w_2 = -1 が負だからです。増減の幅がそれぞれの重みの絶対値に一致していることも、この計算から読み取れます。

定数項を含む書き方

米国国立標準技術研究所(NIST)と SEMATECH がまとめた統計手法のハンドブック(NIST/SEMATECH e-Handbook of Statistical Methods)は、最小二乗法による線形回帰の節で、線形モデルの一般形を次のように示しています。

f(x; beta) = beta_0 + beta_1 * x_1 + beta_2 * x_2 + ...

beta_1, beta_2, ... は上の式の重み w_1, w_2, ... にあたります。この書き方には、どの特徴量にも掛からない定数の項 beta_0 が入っています。一方、『Deep Learning』の式 y_hat = w^T * x には、書かれた形のままでは定数の項がありません。資料によって式の書き方がこのように異なる点に注意が必要です。

線形は直線や平面だけを意味しない

同じハンドブックは、線形モデルは直線や平面に限られるわけではなく、かなり広い範囲の形を含むと述べています。説明変数が1個なら直線、2個なら平面を表すのが基本の形ですが、線形回帰という名前が表すことのできる関係を直線と平面だけに限っているわけではありません。

用語の使い分け

線形回帰と似た語に、単回帰分析と重回帰分析があります。分野によって呼び方が異なります。

• 機械学習の分野では、説明変数の数を区別せず、1個でも複数でも線形回帰と呼ぶ
• 統計学の分野では、説明変数が1個の場合を単回帰分析、2個以上の場合を重回帰分析と呼び分ける

『Deep Learning』は説明変数の数 n を一般の n のまま扱っており、説明変数の数による呼び分けを使っていません。NIST のハンドブックも単回帰・重回帰という語そのものは使っていません。ただし、説明変数が1個なら直線、2個なら平面という形の対応は、統計学で説明変数1個を単回帰、2個以上を重回帰と呼ぶ区別と一致します。それぞれの計算式や計算例は、単回帰分析と重回帰分析の各項目で扱います。