標準偏差

分散の平方根として定義される量

標準偏差は、値のばらつきの大きさを表す量で、分散の平方根として定義されます。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第3章は、分散を次の式で定義しています(同書の式3.12)。

$$\mathrm{Var}(f(x))=\mathbb{E}\left[{\left(f(x)-\mathbb{E}[f(x)]\right)}^2\right]$$

$\mathbb{E}$ は期待値、つまり確率変数がとる値をそれぞれの確率で重みづけした平均を表します。この式の分散は、値が期待値からどれだけ離れるかを2乗し、その期待値をとったものです。確率変数の分布そのものに対して決まる量なので、データの個数 $N$ も、$N$ や $N-1$ で割る操作も出てきません。

同書はこの定義のすぐあとで、「分散の平方根は標準偏差として知られる」と一文で述べています。同書の標準偏差の説明はこの一文だけです。標準偏差の中身は、どの分散の平方根をとるかで決まります。

平方根をとると単位が元のデータに戻る

分散は偏差を2乗してから平均するので、単位も2乗されます。米国国立標準技術研究所(NIST)の統計ハンドブック「NIST/SEMATECH e-Handbook of Statistical Methods」の1.3.5.6節は、標準偏差について「ばらつきの単位を元のデータの単位に戻す(分散は単位を2乗する)」と説明しています。

たとえば長さをメートルで測ったデータなら、分散の単位は平方メートルです。平方メートルは面積の単位なので、元の長さと並べて比べることができません。標準偏差は分散の平方根をとるので単位がメートルに戻り、元のデータと同じ物差しで、平均の周りにどれくらい散らばっているかを読めます。

標準偏差は0以上の値をとります。値が大きいほど、データが平均から離れて広く散らばっていることを表します。すべてのデータが同じ値なら、偏差がすべて0になるので標準偏差も0です。

データから計算する標本標準偏差

確率変数の分布ではなく、観測した $N$ 個のデータ $Y_1,Y_2,\dots ,Y_N$ からばらつきを計算する場合は、別の式を使います。NISTの統計ハンドブックの同じ節は、データから計算する分散と標準偏差を次の形で示しています。

$$s^2=\frac{{\sum }_{i=1}^N(Y_i-\bar{Y}{)}^2}{N-1}$$

$$s=\sqrt{\frac{{\sum }_{i=1}^N(Y_i-\bar{Y}{)}^2}{N-1}}$$

$\bar{Y}$ はデータの平均値で、$Y_i-\bar{Y}$ は各データが平均値からどれだけ離れているかを表す差(偏差)です。$s^2$ を不偏分散、その平方根 $s$ を標本標準偏差と呼びます。分母はデータの個数 $N$ ではなく $N-1$ です。この $N-1$ で割る操作は平方根の内側、つまり分散を求める段階で行います。

5個のデータで計算する

説明のために作った例として、5本の木の高さを測り、1、3、5、7、9 メートルだったとします。

まず平均値は $\bar{Y}=(1+3+5+7+9)/5=5$ メートルです。各データの偏差と、その2乗は次のとおりです。

偏差の2乗の合計は40平方メートルです。これを $N-1=4$ で割ると、不偏分散は $s^2=40/4=10$ 平方メートルになります。その平方根をとると、標本標準偏差は $s=\sqrt{10}\approx 3.16$ メートルです。

分散の10平方メートルは単位が平方メートルのままで、木の高さと直接比べられません。標準偏差の3.16メートルは高さと同じメートルで表されているので、平均5メートルの周りに数メートル程度の広がりでばらついている、と読めます。

比べるために、別の5本の高さが4、5、5、5、6 メートルだった場合を計算します。平均値は同じ5メートルで、偏差は $-1,0,0,0,1$、2乗の合計は2平方メートルです。不偏分散は $2/4=0.5$ 平方メートル、標本標準偏差は $\sqrt{0.5}\approx 0.71$ メートルになります。平均値が同じでも、値が平均の近くに集まっている2つ目のデータのほうが、標準偏差は小さくなります。

理論上の標準偏差と標本標準偏差の関係

教科書「Deep Learning」の定義とNISTの統計ハンドブックの式は、競合する2つの定義ではありません。どちらも「分散の平方根」であり、違うのは元にする分散です。

どちらの分散を使っているかを先に確かめ、その平方根をとれば、対応する標準偏差が得られます。

計算で取り違えやすい点

偏差を2乗せずにそのまま平均すると、ばらつきの大きさは測れません。偏差の合計は、平均値の決め方から必ず0になるからです。上の例でも $(-4)+(-2)+0+2+4=0$ です。そこで偏差を2乗して正の値にそろえてから足し合わせ、最後に平方根をとって単位を戻します。

$N-1$ で割るのは平方根をとる前です。上の例で、偏差の2乗の合計40の平方根をとってから4で割ると $\sqrt{40}/4\approx 1.58$ となり、正しい値 $\sqrt{40/4}\approx 3.16$ とは一致しません。