全結合層

すべての入力がすべての出力に関わる層

全結合層では、次の層にある出力ノードの1つ1つが、前の層にある入力ノードのすべてから値を受け取ります。入力ノードと出力ノードのどの組み合わせにも、その組み合わせだけの重みが1つずつ割り当てられています。英語ではFully Connected Layerと呼びます。

この計算は、入力の値を並べたものに重みを並べた行列を掛ける計算、つまり行列積として書けます。イアン・グッドフェロー(Ian Goodfellow)らの教科書"Deep Learning"(2016年)は、畳み込みニューラルネットワークについて、少なくとも1つの層でこの行列積の代わりに畳み込みという演算を使うニューラルネットワークだと説明しています。全結合層は、その比較の出発点になる、行列積をそのまま使う層です。

1つの出力ノードが行う計算

出力ノードは、入力ノードの値にそれぞれの重みを掛けて足し合わせ、最後にバイアスを1つ足します。バイアスは、入力がどんな値であっても出力に一定の量を上乗せするための値で、出力ノード1つにつき1つあります。

入力のノードが3つ($x_1$、$x_2$、$x_3$)で、出力のノードが2つ($y_1$、$y_2$)の場合、1つめの出力ノードの計算は次のとおりです。

$$y_1=w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+b_1$$

2つめの出力ノードも同じ形で、別の重み$w_{21}$、$w_{22}$、$w_{23}$と別のバイアス$b_2$を使います。

$$y_2=w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+b_2$$

ここで$w_{12}$は、1つめの出力ノードが2つめの入力ノードから値を受け取るときの重みを表します。

パラメータ数の計算式

入力のノード数を$n$、出力のノード数を$m$とします。重みは入力ノードと出力ノードの組み合わせごとに1つあるので、重みの数は$n\times m$個です。バイアスは出力ノードごとに1つあるので、バイアスの数は$m$個です。学習で調整するパラメータの合計は次の式で表せます。

$$(n\times m)+m$$

この式は、入力の値を重みの行列に掛けてからバイアスを足すという計算の形から、そのまま導けます。重みの行列は縦に$m$行、横に$n$列の大きさを持ち、その要素の数が$n\times m$個になるためです。

3入力2出力の層での計算例

先ほどの例を式に当てはめます。入力のノード数が$n=3$、出力のノード数が$m=2$なので、重みは$3\times 2=6$個です。これは$w_{11}$、$w_{12}$、$w_{13}$、$w_{21}$、$w_{22}$、$w_{23}$の6つに当たります。バイアスは$b_1$と$b_2$の2個です。合計は$6+2=8$個になります。

ノード数を増やすとパラメータ数はどう変わるか

重みの数は入力のノード数と出力のノード数の掛け算で決まるので、両方を増やすと重みの数は掛け算の分だけ増えます。たとえば入力と出力のノード数をどちらも2倍にして$n=6$、$m=4$にすると、重みは$6\times 4=24$個、バイアスは4個、合計は28個です。ノード数はどちらも2倍ですが、重みの数は6個から24個へ4倍になります。一方でバイアスの数は出力のノード数と同じ割合でしか増えないので、2個から4個への2倍にとどまります。

式から読み取れるのは、パラメータの大部分を重みが占めること、そして入力と出力のどちらか一方を増やしただけでも重みの数はその割合で増えることです。

畳み込み層との違い

グッドフェローらの教科書は、畳み込みを使う層が活用する考え方として、疎な結合(sparse interactions)、パラメータ共有(parameter sharing)、入力をずらすと出力も同じだけずれる性質(equivariant representations)の3つを挙げ、それぞれを全結合の層と比べて説明しています。このうち全結合層との違いがはっきり表れるのは、はじめの2つです。

疎な結合について、全結合層ではすべての出力ノードがすべての入力ノードとつながります。畳み込み層では、1つの出力は入力のうち一部の範囲とだけつながります。

パラメータ共有について、全結合層では重みの行列の要素はどれも、層の出力を計算するときに1度しか使われません。上の例でいえば、$w_{12}$は$y_1$を計算するときにだけ使われ、$y_2$の計算には別の重み$w_{22}$が使われます。畳み込み層では、同じ重みを入力のさまざまな位置で使い回します。

誤解しやすい点

全結合層のパラメータ数を数えるときに、重みの$n\times m$個だけを答えてバイアスの$m$個を数え忘れることがあります。バイアスの数は入力のノード数ではなく出力のノード数と同じになる点にも注意が必要です。

また、全結合層と畳み込み層の違いは、層の目的が違うということではなく、入力と出力のつなぎ方と重みの使い方が違うということです。どちらの層も、学習によって重みを調整する層です。