隠れ層

入力層と出力層の間に追加される層

線形モデルy' = b + w1×x1 + w2×x2 + w3×x3は、3個の入力ノードx1、x2、x3と、1個の出力ノードy'で表せます。このネットワークの入力層と出力層の間に追加される層を、隠れ層と呼びます。隠れ層の中のノードは、ニューロンと呼ばれます。

隠れ層のニューロンの値の求め方

隠れ層の各ニューロンの値は、線形モデルの出力と同じ方法で計算します。前の層の各値にそれぞれ固有の重みを掛けて合計し、そこにバイアスを足します。次の層(ここでは出力層)の値は、隠れ層のニューロンの値を入力にして、同じ方法で計算します。

例題: 隠れ層を1つ加えたときのパラメータ数

入力が3個、隠れ層のニューロンが4個、出力が1個のモデルで、重みとバイアスの数を数えます。

• 隠れ層: ニューロン1個につき、入力ごとの重み3個とバイアス1個で、4パラメータです。ニューロンが4個あるので4×4 = 16パラメータになります。
• 出力層: 隠れ層の各ニューロンに対応する重み4個とバイアス1個で、5パラメータです。
• 合計: 16 + 5 = 21パラメータです。

隠れ層を加えただけでは線形のまま

隠れ層を加えると、モデルは入力データを別のパラメータの組で組み直せるようになります。ただし、ここまでの計算は掛け算と足し算だけです。隠れ層の値を出力の式に代入して整理すると、出力は入力の重み付きの和に定数を足した形になり、モデル全体は線形のままです。入力層と出力層だけのモデルで重みやバイアスを調整しても、入力と出力の関係が線形のままなのと同じです。非線形の関係を学ぶ方法は、活性化関数という別の語で扱います。

シラバスでの位置づけ

G検定シラバス2024(第1.4版)では、中項目11 ニューラルネットワークとディープラーニングのキーワードに隠れ層が含まれています。