活性化関数

活性化関数とは、ニューラルネットワークにおいて、ニューロンに入力された信号の総和が一定の値を超えたときに、次の層へ出力信号を送るかどうかを決定する関数です。この関数が非線形な変換を行うことで、ニューラルネットワークは複雑なパターンを学習できるようになります。

仕組みとしては、入力値に対して閾値処理を行ったり、特定のカーブを持つ関数（シグモイド関数やReLU関数など）を適用したりします。例えば、ReLU関数は、0以下の入力は0として返し、0以上の入力はそのまま返すという単純なものですが、深層学習において学習を効率化する重要な役割を果たします。この非線形性がなければ、何層重ねても単純な線形変換にしかならず、高度な知能を実現できません。

試験では、活性化関数がニューラルネットワークの「非線形性」を担保している点が重要です。重みやバイアスといったパラメータとの違いを理解しておく必要があります。また、シグモイド関数はかつて主流でしたが、現在はReLU関数が使われることが多いなど、技術の変遷も関連知識として問われることがあります。