分散

平均のまわりの散らばりを1つの量で表す

分散は、値がその平均的な値のまわりでどれだけ散らばっているかを1つの量で表したものです。全員のテストの点数が50点なら散らばりは無く、分散は0になります。0点の人と100点の人が半々なら、平均は同じ50点でも一人ひとりの点数が平均から大きく離れているので、分散は大きくなります。平均だけでは見分けられないこの違いを数で区別できるようにするのが、分散の役割です。

分散という言葉は、次の2つの場面で使われます。

• 確率変数の分散: 確率分布(どの値がどれくらいの確率で出るかの決まり)そのものが持つ、理論上の散らばりの大きさ
• データから計算する分散: 実際に集めた $N$ 個のデータから、上の散らばりの大きさを見積もった値

この2つは別々の概念ではなく、同じ「平均のまわりの散らばり」について、理論の側から定義するか、データの側から見積もるかの違いです。以下では、まず理論上の定義を示し、次にデータから見積もるときの式を分けて示します。

理論上の定義は期待値で書かれる

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第3章は、分散を次の式で定義しています(同書の式3.12)。

$$\mathrm{Var}(f(x))=\mathbb{E}\left[{\left(f(x)-\mathbb{E}[f(x)]\right)}^2\right]$$

ここで $x$ は確率変数(試行の結果によって値が決まる変数)、$f(x)$ はその値から計算される量、$\mathbb{E}[\cdot ]$ は期待値(確率で重みづけした平均)を表します。式は内側から次の順に読みます。

1. $\mathbb{E}[f(x)]$ で、$f(x)$ の期待値、つまり中心の位置を求める
2. $f(x)-\mathbb{E}[f(x)]$ で、個々の値が中心からどれだけずれているかを求める
3. そのずれを2乗して、正のずれも負のずれも正の値にそろえる
4. 2乗したずれの期待値をとる

$f$ を何もしない関数にして $x$ そのものの分散を考えると、$\mathrm{Var}(x)=\mathbb{E}[(x-\mathbb{E}[x]{)}^2]$ になります。

同書の説明では、分散は確率変数 $x$ を確率分布から取り出すたびに $f(x)$ の値がどれくらい変わるかの尺度です。同書はさらに、分散が小さいときは $f(x)$ の値が期待値の近くに集まると述べています。

この式には、データの個数 $N$ も $N-1$ も出てきません。期待値は確率分布に対して決まる量なので、分散もデータを1件も集めていない段階から、分布そのものの性質として決まっています。

サイコロで理論上の分散を求める

説明のための例として、1から6の目が同じ確率で出るサイコロの目 $x$ を考えます。各目の確率は $1/6$ です。

期待値は、各目にその確率を掛けて足したものです。

$$\mathbb{E}[x]=(1+2+3+4+5+6)\times \frac{1}{6}=3.5$$

各目の期待値からのずれを2乗すると、1の目は $(1-3.5{)}^2=6.25$、2の目は $2.25$、3の目は $0.25$、4の目は $0.25$、5の目は $2.25$、6の目は $6.25$ です。これらにも確率 $1/6$ を掛けて足します。

$$\mathrm{Var}(x)=(6.25+2.25+0.25+0.25+2.25+6.25)\times \frac{1}{6}=\frac{17.5}{6}\approx 2.92$$

ここで掛けている $1/6$ は、各目が出る確率です。サイコロを何回振ったかというデータの個数ではありません。サイコロを1回も振らなくても、確率分布が分かっていればこの値は決まります。

データから分散を見積もる式

実際の場面では、確率分布が分かっていないことがほとんどです。手元にあるのは、集めた $N$ 個のデータ $Y_1,Y_2,\dots ,Y_N$ だけです。このとき、データから分散を見積もる式として、米国国立標準技術研究所(NIST)の統計ハンドブック「NIST/SEMATECH e-Handbook of Statistical Methods」の1.3.5.6節は次の式を示しています。

$$s^2=\frac{{\sum }_{i=1}^N(Y_i-\bar{Y}{)}^2}{N-1}$$

$\bar{Y}$ はデータの平均です。同ハンドブックは、この分散をおおまかには平均からの距離の2乗の算術平均だと説明しています。

理論上の定義との対応は次のとおりです。

分母が $N$ ではなく $N-1$ になっている点が、この式の特徴です。統計学では一般に、平均 $\bar{Y}$ 自体を同じデータから計算しているため、データの平均からのずれの2乗和は、真の期待値からのずれの2乗和より小さめに出やすく、$N-1$ で割ることでその分を補う、と説明されます。日本語では、$N-1$ で割ったこの値を不偏分散と呼ぶことが多くあります。

5個のデータで計算してみる

説明のために作った架空のデータとして、5人の小テストの点数が 3点、5点、7点、8点、12点だったとします。$N=5$ です。

まず平均を求めます。

$$\bar{Y}=\frac{3+5+7+8+12}{5}=\frac{35}{5}=7$$

次に、各データから平均を引いたずれと、その2乗を求めます。

ずれの2乗の合計は $16+4+0+1+25=46$ です。これを $N-1=4$ で割ります。

$$s^2=\frac{46}{5-1}=\frac{46}{4}=11.5$$

このデータから見積もった分散は 11.5 です。単位は「点の2乗」になります。

この表から、2つのことが読み取れます。1つ目は、ずれをそのまま足すと $-4-2+0+1+5=0$ となり、正と負が打ち消し合って散らばりを表せないことです。2乗するのはこのためです。2つ目は、平均から最も離れた12点のずれの2乗25が、合計46の半分以上を占めていることです。2乗するため、平均から大きく離れた値ほど分散への影響が大きくなります。

単位の2乗と標準偏差

分散は2乗したずれから作るので、単位も元のデータの単位の2乗になります。点数の分散は「点の2乗」、長さ(メートル)の分散は「平方メートル」です。このままでは、元のデータと並べて大きさを比べにくくなります。

そこで、分散の平方根をとった標準偏差がよく使われます。グッドフェローらの教科書も、分散の平方根を標準偏差と呼ぶと説明しています。上の例では $\sqrt{11.5}\approx 3.39$ 点となり、元のデータと同じ「点」の単位で散らばりを表せます。

誤解しやすい点

• 分散の式は1つではない、と感じるのは、理論上の定義とデータからの見積もりを混ぜているためです。理論上の定義は期待値で書かれ、$N$ も $N-1$ も含みません。$N-1$ で割るのは、有限個のデータからその値を見積もるときの式です。
• サイコロの例で $1/6$ を掛けたのは、各目の確率が $1/6$ だからです。データの個数で割っているわけではありません。
• 分散が0になるのは、すべての値が同じときだけです。1つでも異なる値があれば、ずれの2乗が正になるので分散は0より大きくなります。
• 分散は2乗を使うので、平均から大きく離れた少数の値に強く影響されます。分散が大きいとき、全体が広く散らばっているのか、一部の極端な値が効いているのかは、分散の値だけでは区別できません。