活性化関数

活性化関数とは何か

ニューラルネットワークの層は、入力の値それぞれに重みを掛けて足し合わせ、そこにバイアスと呼ぶ定数を加える計算をします。この計算の結果は入力の線形関数です。活性化関数は、この線形関数の出力に続けて適用する関数で、その結果が層の出力になります。

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書『Deep Learning』(2016年)の第6章は、隠れ層の $i$ 番目の出力を次の形で書いています。

$$h_i=g\left(x^{\top }{W}_{:,i}+c_i\right)$$

$x$ は入力を並べたベクトル、$W_{:,i}$ は重みを並べた行列 $W$ の $i$ 列目、$c_i$ はバイアス、$g$ が活性化関数です。括弧の中の $x^{\top }{W}_{:,i}+c_i$ が線形関数の部分で、以下ではこの値を $z$ と書きます。活性化関数は $z$ の1つの値を受け取って1つの値を返す関数で、層の出力それぞれに同じ $g$ を別々に適用します。これを要素ごとの適用と言います。(全結合層のページでは同じ重み付き和を、出力数×入力数の行列 $w_{ij}$ を使って書いていますが、行列の向きが違うだけで同じ計算を表しています。)

1つの出力で計算の流れを追う

入力が2つある場合で、ある隠れ層の出力を1つ計算します。入力を $x=(1,2)$、この出力に対応する重みを $(0.5,-1)$、バイアスを $0.5$ とします。どれも説明のために決めた架空の値です。

$$z=0.5\times 1+(-1)\times 2+0.5=-1$$

活性化関数に何を選ぶかで、同じ $z=-1$ から出てくる値が変わります。ReLU関数なら $\max \{0,-1\}=0$、シグモイド関数なら $\sigma (-1)\approx 0.269$、tanh関数なら $\tanh (-1)\approx -0.762$ です。重みとバイアスが決める部分は共通で、活性化関数はその後ろで値の形を変える役を受け持っています。

活性化関数が無いと層を重ねても1つの線形関数になる

入力も出力も1つの簡単な例で、活性化関数を挟まずに線形関数の層を2つ重ねた場合を確かめます。1層目を $h=2x+1$、2層目を $y=3h-4$ とします。2層目の式の $h$ に1層目の式を代入すると、次のようになります。

$$y=3(2x+1)-4=6x-1$$

2層を通した結果は、傾き6・切片 $-1$ の1つの線形関数と同じです。入力が $x=-1$ なら $h=-1$、$y=-7$ となり、$6\times (-1)-1=-7$ と一致します。

これは例の数値に限った話ではありません。線形関数に線形関数を代入すると、展開した結果はまた線形関数になります。入力や出力がベクトルになり、重みが行列になっても同じで、重み行列の積が1つの行列にまとまり、バイアスも1つのベクトルにまとまります。したがって線形関数だけを何層重ねても、表せる関係は1層の線形関数で表せるものから増えません。層を重ねる意味が無くなってしまいます。

活性化関数を挟むと何が変わるか

同じ2層の間にReLU関数を挟み、1層目を $h=\max \{0,2x+1\}$ に変えます。2層目は $y=3h-4$ のままです。いくつかの入力で出力を計算すると次のとおりです。

$2x+1$ が負になる $x<-0.5$ の範囲では、$h$ が0に固定されるので出力は $-4$ で変わりません。$x>-0.5$ の範囲では出力は $6x-1$ と同じように傾き6で増えます。入力の範囲によって傾きが0から6に切り替わる折れ線は、1つの線形関数では表せません。このように、非線形な活性化関数を層の間に挟むことで、層を重ねたネットワークは線形関数の外側にある関係を表せるようになります。

代表的な3つの関数

『Deep Learning』第6章は、隠れ層で使う活性化関数としてReLU関数、シグモイド関数、tanh関数を取り上げています。3つの式と、式から計算できる性質を並べます。

ReLU関数の名前は rectified linear unit の略で、日本語では整流線形関数とも呼びます。入力が負なら0を返し、入力が0以上ならそのまま返します。$z>0$ の範囲では傾きが常に1です。

シグモイド関数とtanh関数は、どちらもS字形の曲線を描きます。『Deep Learning』第6章は、2つの間に次の関係があることを示しています。

$$\tanh (z)=2\sigma (2z)-1$$

前の計算例の値で確かめると、$\sigma (-2)\approx 0.119$ なので $2\times 0.119-1=-0.762$ となり、$\tanh (-1)\approx -0.762$ と一致します。tanh関数はシグモイド関数を横に縮め、縦に2倍に伸ばして下へずらした形です。そのため $z=0$ での値がシグモイド関数では $\frac{1}{2}$、tanh関数では0になります。

シグモイド関数とtanh関数の飽和

シグモイド関数は、入力の絶対値が大きくなると出力がほとんど動かなくなります。$\sigma (5)\approx 0.9933$、$\sigma (10)\approx 0.99995$ で、入力を5増やしても出力は約0.0066しか増えません。負の側でも同じで、$\sigma (-10)$ は0にごく近い値です。このように、入力が変わっても出力がほぼ一定になる状態を飽和と呼びます。tanh関数も、入力の絶対値が大きいと $-1$ か1に張り付いて同じように飽和します。

『Deep Learning』第6章は、シグモイド系の関数が定義域の大部分で飽和し、それが勾配にもとづく学習を難しくすると述べています。勾配は、重みを少し動かしたときに誤差がどれだけ変わるかを表す量です。出力がほとんど動かない範囲では、重みを動かしても誤差がほとんど変わらないので、どちらへ重みを直せばよいかの手がかりが小さくなります。同じ章はこの理由から、フィードフォワードネットワークの隠れ層でシグモイド系の関数を使うことを勧めていません。そのうえで、シグモイド系の関数を使わざるを得ない場合には、tanh関数の方がシグモイド関数よりよい性能を示すことが多いとしています。

ReLU関数が既定の推奨とされていること

『Deep Learning』第6章は、現代のニューラルネットワークでは既定の推奨としてReLU関数を使うと書いています。この記述の出典として、同じ章はジャレットら(Jarrett et al., 2009)、ナイアとヒントン(Nair and Hinton, 2010)、グロロットら(Glorot et al., 2011a)の3件を並べて挙げており、ReLU関数を単独の提案者に結び付けてはいません。

既定の推奨は、どの課題でもReLU関数が最もよいという意味ではありません。まず試す選択肢として勧められている、という意味です。

誤解しやすい点

活性化関数の役割は、値を0から1に収めることだと思われがちです。しかしReLU関数の出力には上限がなく、tanh関数の出力は負にもなります。3つの関数に共通するのは出力の範囲ではなく、非線形であることです。非線形であることが、層を重ねたネットワークに線形関数の外側の関係を表させるという役割に結び付いています。

ReLU関数は $z>0$ の範囲だけを見ると $g(z)=z$ という線形関数に見えます。それでも $z=0$ を境に傾きが0から1に切り替わるので、全体としては非線形関数です。前の節の折れ線の例が、この切り替わりによって生まれたものです。