正規分布

平均と標準偏差の2つで形が決まる分布

正規分布は、実数の値をとる確率変数(試行の結果によって値が決まる変数)について、どの値がどれくらい出やすいかを表す連続型の確率分布です。ガウス分布とも呼ばれます。分布の形は、中心の位置を表す平均 $\mu$ と、広がりの大きさを表す標準偏差 $\sigma$ の2つのパラメータだけで決まります。

グラフに描くと、平均 $\mu$ の位置に山の頂点が1つあり、そこから左右に離れるほど低くなる、左右対称の釣り鐘の形になります。

確率密度関数の式を読む

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第3章は、正規分布を次の確率密度関数で定義しています(同書の式3.21)。

$$\mathcal{N}(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}\exp \left(-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right)$$

確率密度関数は、連続的な値をとる変数について、どの値のあたりが出やすいかを高さで表す関数です。$\mathcal{N}(x;\mu ,{\sigma }^2)$ は「平均 $\mu$、分散 ${\sigma }^2$ の正規分布の、値 $x$ における確率密度」と読みます。

式に出てくる2つのパラメータの役割は次のとおりです。

• $\mu$ は任意の実数をとり、山の頂点の位置を表します。同書は、$\mu$ が分布の平均でもあること、つまり期待値(確率変数がとる値の平均)が $\mathbb{E}[x]=\mu$ になることを示しています。
• $\sigma$ は0より大きい値をとり、分布の標準偏差を表します。${\sigma }^2$ は分散(値のばらつきの大きさを表す量)にあたります。

式の形からは、次のことが読み取れます。指数の部分 $-(x-\mu {)}^2/(2{\sigma }^2)$ は、$x$ が $\mu$ に等しいとき0になり、$x$ が $\mu$ から離れるほど大きな負の値になります。そのため確率密度は $x=\mu$ で最大になり、離れるにつれて急速に0へ近づきます。また $(x-\mu {)}^2$ は、$x$ が $\mu$ より大きい側に離れても小さい側に同じだけ離れても同じ値になるので、分布は $\mu$ を軸に左右対称になります。左右対称で頂点が $\mu$ にあるので、正規分布では平均、頂点の位置、そして値を大きさの順に並べたときの真ん中の値(中央値)がすべて $\mu$ で一致します。

精度を使ったもう1つの書き方

同書は、同じ分布を別のパラメータで表す書き方も示しています。分散の逆数 $\beta =1/{\sigma }^2$ を精度と呼び、これを使うと次の式になります(同書の式3.22)。

$$\mathcal{N}(x;\mu ,{\beta }^{-1})=\sqrt{\frac{\beta }{2\pi }}\exp \left(-\frac{1}{2}\beta (x-\mu {)}^2\right)$$

精度 $\beta$ は0より大きい値をとります。式3.21の ${\sigma }^2$ に $1/\beta$ を代入すると式3.22になるので、2つの式は同じ分布を表しています。分散と精度は逆数の関係にあるため、精度が大きいほど分布は狭く、小さいほど広くなります。

数値を入れて形を確かめる

説明のための例として、平均を $\mu =0$ に固定し、標準偏差が $\sigma =1$ の場合と $\sigma =2$ の場合で確率密度を計算します。表の値は式3.21に数を代入した計算結果で、小数第5位を四捨五入しています。

$\sigma =1$、$x=0$ のときは、指数の部分が $\exp (0)=1$ なので、確率密度は係数 $\sqrt{1/(2\pi )}\approx 0.3989$ そのものです。$x=1$ では指数の部分が $\exp (-1/2)\approx 0.6065$ になり、$0.3989\times 0.6065\approx 0.2420$ です。左右対称なので、$x=-1$ でも同じ 0.2420 になります。

2つの列を比べると、標準偏差の役割が分かります。$\sigma$ を1から2に倍にすると、係数 $\sqrt{1/(2\pi {\sigma }^2)}$ が半分になるので、頂点の高さは 0.3989 から 0.1995 に下がります。その代わり、中心から離れた $x=2$ や $x=4$ では $\sigma =2$ のほうが確率密度が大きくなります。$\sigma$ が大きいほど山は低く裾の広い形に、小さいほど高く幅の狭い形になります。

同じ計算を精度で書いた式3.22で行っても結果は変わりません。$\sigma =2$ は $\beta =1/4$ にあたり、$x=0$ での値は $\sqrt{(1/4)/(2\pi )}\approx 0.1995$ で、表の値と一致します。

平均から一定の範囲に入る割合

連続型の確率分布では、値がある区間に入る確率は、その区間における確率密度のグラフの下の面積で求めます。平均から標準偏差の何倍かの範囲で式3.21の確率密度を数値的に積分すると、次の割合になります。

$x$ を $(x-\mu )/\sigma$ に置き換えると式の形が $\mu$ と $\sigma$ に依存しなくなるので、この割合は $\mu$ と $\sigma$ がどんな値でも同じです。たとえば平均50、標準偏差10の正規分布なら、40以上60以下に入る確率が約68.3%、30以上70以下に入る確率が約95.4%です(この平均と標準偏差は説明のための架空の値です)。

機械学習で既定の選択になる2つの理由

同書は、実数の値をとる変数の分布として、正規分布を既定の選択(特別な理由が無ければまず選ぶもの)に挙げ、理由を2つ示しています。

1つ目の理由は中心極限定理です。中心極限定理は、互いに独立な多数の確率変数の和が、近似的に正規分布に従うという定理です。同書は、実際の複雑なシステムの多くは、より構造のある振る舞いをする部分に分解できる場合であっても、正規分布に従うノイズとしてうまくモデル化できると述べています。

2つ目の理由は、分散が同じ確率分布どうしを比べたとき、実数全体の上で最も大きな不確かさを持つのが正規分布だという点です。同書は、正規分布はモデルに持ち込む事前の知識が最も少ない分布だと言い換えています。不確かさの大きさを測る量としてエントロピーを使うと、分散が同じ分布の中で正規分布のエントロピーが最大になる、という意味です。同書は、この点をきちんと示すにはさらに数学的な道具が必要だとして、完全な説明を後の章(第19章の19.4.2節)に回しています。

誤解しやすい点

確率密度の値は、確率そのものではありません。上の表と同じ式で $\mu =0$、$\sigma =0.1$ とすると、$x=0$ での確率密度は約3.989になり、1を超えます。確率として意味を持つのは、区間の上での面積のほうです。

中心極限定理を理由に挙げるのは、正規分布をモデルの仮定として置くと実際にうまくいく場面が多い、という説明です。手元のデータがどれも正規分布に従う、という意味ではありません。

$\sigma$ を変えても変わるのは山の高さと幅であり、頂点の位置は $\mu$ のまま動きません。反対に $\mu$ を変えると、形はそのままで山全体が左右に平行移動します。

複数の変数を同時に扱う場合

同書は、正規分布が $n$ 個の実数を並べたベクトルの分布にも一般化でき、それを多変量正規分布と呼ぶことにも触れています。多変量正規分布では、パラメータの1つとして正定値の対称行列 $\Sigma$ を使います。このページで扱った1つの変数の正規分布は、その最も基本的な場合にあたります。