線形関数

深層学習で線形関数と呼ぶ形

深層学習の文脈で線形関数と言うときは、入力の線形結合にバイアスを加えた関数を指すことがほとんどです。線形結合とは、入力の値それぞれに重みと呼ぶ数を掛け、その積をすべて足し合わせる計算です。この和にバイアスと呼ぶ定数を1つ加えたものが出力になります。入力が $n$ 個あるときの式は次のとおりです。

$$y=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$$

$x_1$ から $x_n$ が入力、$w_1$ から $w_n$ がそれぞれの入力に対応する重み、$b$ がバイアス、$y$ が出力です。入力はデータから与えられる値で、重みとバイアスは学習によって決まる値です。

2入力の線形関数での計算例

入力が2つの場合で出力を計算します。入力を $x_1=3$、$x_2=5$、重みを $w_1=0.4$、$w_2=-0.2$、バイアスを $b=1.5$ とします。どれも説明のために決めた架空の値です。

$$y=0.4\times 3+(-0.2)\times 5+1.5=1.2-1.0+1.5=1.7$$

入力に重みを掛けた値は1.2と $-1.0$ で、その合計0.2にバイアス1.5を足すと出力は1.7になります。

重みの値から読み取れること

式の形から、入力を1つだけ1増やしたときの出力の変化は、その入力の重みと等しくなります。上の例で $x_1$ を3から4に増やすと、出力は0.4増えて2.1になります。$x_2$ を5から6に増やすと、出力は0.2減って1.5になります。重みが正の入力は増えるほど出力を増やし、重みが負の入力は増えるほど出力を減らします。重みの絶対値が大きい入力ほど、出力を動かす幅も大きくなります。

この変化の幅は、ほかの入力がいくつであっても変わりません。$x_2$ が5でも100でも、$x_1$ を1増やせば出力は必ず0.4増えます。この性質が、次の節で説明する線形関数の限界につながります。

線形モデルの利点と限界

出力を入力の線形関数で表すモデルを線形モデルと呼びます。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書『Deep Learning』(2016年)の第6章は、線形モデルの長所として、効率よく確実に学習できることを挙げています。同じ章は欠点として、モデルの表現力が線形関数の範囲に限られるので、どの2つの入力変数の相互作用も捉えられないことを指摘しています。

相互作用とは、ある入力が出力に与える影響の大きさが、別の入力の値によって変わる関係のことです。前の節で見たとおり、線形関数では1つの入力が出力に与える影響は重みだけで決まり、ほかの入力の値では変わりません。そのため線形関数には相互作用を表す手段がありません。

入力の積を線形関数で表せないことを数値で確かめる

相互作用のいちばん単純な例は、2つの入力の積 $y=x_1{x}_2$ です。この関係では、$x_1$ を1増やしたときの出力の変化が $x_2$ の値と等しくなり、$x_2$ によって影響の大きさが変わります。入力が0か1の4つの点で、この関係に線形関数を当てはめられるかを調べます。

求めたい出力は、$(x_1,x_2)=(0,0)$ のとき0、$(1,0)$ のとき0、$(0,1)$ のとき0、$(1,1)$ のとき1です。線形関数 $y=w_1{x}_1+w_2{x}_2+b$ に4つの点を順に代入します。

$(0,0)$ を代入すると $y=b$ となるので、出力0に合わせるには $b=0$ が必要です。

$(1,0)$ を代入すると $y=w_1+b=w_1$ となるので、$w_1=0$ が必要です。

$(0,1)$ を代入すると $y=w_2+b=w_2$ となるので、$w_2=0$ が必要です。

最初の3点で、重みとバイアスはすべて0に決まりました。この値で $(1,1)$ の出力を計算すると $y=0\times 1+0\times 1+0=0$ となり、求めたい出力の1と一致しません。3点に合わせた時点で重みとバイアスが1通りに決まり、その値では残りの1点が外れるので、4点すべてを満たす線形関数はありません。

限界を補う考え方

同じ教科書の第6章は、この欠点を補う方法として、入力 $x$ をそのまま使わずに非線形な変換 $\varphi (x)$ を通し、変換後の値に線形モデルを当てはめる方法を挙げています。

上の4点で考えると、入力の積 $x_1{x}_2$ を3つめの入力 $x_3$ として加えれば、重みを $w_1=0$、$w_2=0$、$w_3=1$、バイアスを $b=0$ とした線形関数 $y=x_3$ で4点すべての出力を再現できます。$(1,1)$ では $x_3=1$ なので出力は1、残りの3点では $x_3=0$ なので出力は0です。式は入力について線形のままで、積という非線形な関係は入力の変換の側が受け持っています。