重み

重みとは何か

一般に、ニューラルネットワークの重みとは、ある入力がどれだけ出力に効くかを決める数値です。ニューラルネットワークでは、前の層のノードから次の層のノードへ値が渡るとき、つながりの1本ごとに重みが1つあります。渡された値はその重みを掛けられてから、次のノードで足し合わされます。

重みの値は、人が1つずつ決めるものではありません。一般に、モデルの出力と正解の差が小さくなるように、学習の中で少しずつ調整されます。学習を終えたモデルが何を覚えたかは、この重みの値の並びとして残ります。

入力に重みを掛けて足し合わせる計算式

入力が $x_1$、$x_2$、$x_3$ の3つあり、それぞれに対応する重みが $w_1$、$w_2$、$w_3$ のとき、出力 $y$ は次の式で計算します。

$$y=w_1{x}_1+w_2{x}_2+w_3{x}_3$$

入力ごとに重みを掛け、その結果をすべて足すという形です。この形を重み付きの和と呼びます。入力が $n$ 個あれば、同じ形の項が $n$ 個並びます。

多くのモデルでは、この和にさらにバイアスと呼ばれる定数を1つ足します。バイアスは入力に掛け合わせる数値ではないため、重みとは別に扱います。この節では重みの働きだけを見るため、バイアスは省いています。

3つの入力での計算例

架空の値で計算します。入力を $x_1=4$、$x_2=1$、$x_3=2$ とし、重みを $w_1=0.5$、$w_2=-2$、$w_3=1.5$ とします。

$$y=0.5\times 4+(-2)\times 1+1.5\times 2=2-2+3=3$$

入力は同じままで、重み $w_3$ だけを 1.5 から 0.5 に変えると、3つめの項は3から1になり、出力は次のように変わります。

$$y=2-2+1=1$$

入力が同じでも、重みが変われば出力が変わります。学習で重みを調整するとは、このように同じ入力から出てくる値を変え、正解に近づけていくことです。

重みの値の読み方

重みの符号は、入力が出力をどちらの向きに動かすかを表します。上の例で $w_2=-2$ は負なので、$x_2$ を1増やすと出力は2減ります。$w_1=0.5$ は正なので、$x_1$ を1増やすと出力は0.5増えます。

重みの絶対値は、その入力が1変わったときに出力がどれだけ変わるかを表します。$w_3=1.5$ の入力 $x_3$ は1増えると出力を1.5動かし、$w_1=0.5$ の入力 $x_1$ は0.5しか動かしません。

ただし、重みの大きさだけで入力どうしの重要さを比べられるとは限りません。入力の単位や値の幅が違えば、同じ重みでも出力への効き方が変わるためです。たとえば、ある入力をメートルからセンチメートルに直すと値は100倍になり、同じ出力を得るための重みは100分の1になります。

重み付きの和だけでは表せないこと

入力に重みを掛けて足し、バイアスを加えたモデルは線形モデルと呼ばれます(バイアスを0とみなせば、重み付きの和だけのモデルもこの形に含まれます)。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)の教科書 Deep Learning(2016年)の第6章は、線形モデルには効率よく確実に学習できるという利点がある一方で、表現できるものが線形関数に限られ、2つの入力変数の間の相互作用を捉えられないという欠点があると述べています。

この欠点は、重み付きの和の式から確かめられます。$y=w_1{x}_1+w_2{x}_2$ で $w_1=0.5$ のとき、$x_1$ を1増やすと出力は必ず0.5増えます。$x_2$ が0のときも10のときも同じです。「$x_2$ が大きいときだけ $x_1$ が出力に強く効く」という関係は、重みをどう選んでもこの式では表せません。

同じ章は、この欠点を補う方法として、入力 $x$ をそのまま使わずに非線形な変換 $\varphi (x)$ を通してから線形モデルを当てはめる方法を挙げています。一般に、ニューラルネットワークでは層ごとに重み付きの和を計算したあとで活性化関数による非線形な変換を挟み、その変換そのものも重みの学習を通じて決めます。

重みの数と学習

1つの層にある重みの数は、その層のつながりの本数で決まります。前後のノードをすべてつなぐ全結合層では、入力のノード数と出力のノード数を掛けた数だけ重みがあります。層が増え、ノードが増えるほど、学習で調整する重みの数も増えます。

一般に、学習では出力と正解の差を表す値を計算し、その値が小さくなる向きに各重みを少しずつ動かします。どの重みをどちらへどれだけ動かすかは、バックプロパゲーション(誤差逆伝播法)で求めた勾配を使って決めるのが一般的です。