線形関数

線形関数とは、変数に対して定数を掛け、定数を加えることで表される、グラフが直線となる関数です。数式では一般的に y = ax + b の形で表されます。ディープラーニングのモデル内では、ニューロンにおける重み付き和として非常に頻繁に現れます。入力に重みを掛けてバイアスを加算する処理は、まさにこの線形関数です。

ニューラルネットワークの層における処理は、線形変換と非線形変換の組み合わせで成り立っています。各層での線形関数による計算だけでは、どれだけ層を深く重ねても結局は一つの線形関数と同じになってしまうため、表現力が上がりません。そのため、線形関数の直後に活性化関数を適用して非線形性を導入することが重要です。

G検定では、ニューラルネットワークの仕組みを問う設問に関連します。なぜ線形変換だけではダメなのかという疑問に対する答えが、層の深さと表現力の関係を理解する鍵です。線形関数は計算の基本単位であり、そこから非線形な変換を重ねることで複雑なパターンを学習できるというネットワークの構造を理解しておく必要があります。