共分散

2つの変数が一緒に動く向きを測る量

共分散は、2つの確率変数(試行の結果によって値が決まる変数)が、どれくらい一緒に変化するかを表す量です。一方が平均より大きいときに、他方も平均より大きくなりやすいのか、それとも小さくなりやすいのかを1つの数で表します。

定義の式を読む

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第3章は、共分散を次の式で定義しています(同書の式3.13)。

$$\mathrm{Cov}(f(x),g(y))=\mathbb{E}\left[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])\right]$$

$\mathbb{E}[\cdot ]$ は期待値で、確率変数がとりうる値をそれぞれの値が出る確率で重みづけして平均したものです。同書は2つの量を関数 $f(x)$ と $g(y)$ の形で書いていますが、最も単純な場合は $f(x)=x$、$g(y)=y$ で、次の形になります。

$$\mathrm{Cov}(x,y)=\mathbb{E}\left[(x-\mathbb{E}[x])(y-\mathbb{E}[y])\right]$$

この式は3つの段階に分けて読めます。

• $x-\mathbb{E}[x]$ は、$x$ の値が平均からどれだけずれているかを表します。このずれを偏差と呼びます。$y$ についても同じです。
• 2つの偏差を掛け合わせます。両方が平均より大きいとき、または両方が平均より小さいときは積が正になり、一方だけが平均より大きいときは積が負になります。
• その積の期待値をとります。起こりやすい組み合わせほど大きな重みで平均されるので、全体として正の積が勝つか負の積が勝つかが、共分散の符号に表れます。

符号と大きさが表すこと

同書は、共分散の値を次のように読むと説明しています。

• 共分散が正のときは、2つの変数が同時に比較的大きな値をとる傾向があります。
• 共分散が負のときは、一方が比較的大きな値をとるときに他方が比較的小さな値をとる傾向があり、その逆も同じです。
• 共分散の絶対値が大きいことは、値が大きく変化し、しかも両方が同時にそれぞれの平均から遠く離れていることを意味します。

絶対値の大きさには、変数そのもののばらつきの大きさも含まれます。同書は、相関のような別の指標は各変数の寄与を正規化し、個々の変数の尺度(スケール)に左右されずに、変数どうしがどれだけ関係しているかだけを測るものだと述べています。裏返すと、共分散の値は変数の尺度の影響を受けます。相関係数の詳しい定義は、関連語のページで扱います。

数値を入れて計算する

説明のための架空の例として、次の5組の値 $(x,y)$ のどれか1組が、それぞれ確率 $1/5$ で選ばれるとします。どの組も同じ確率なので、期待値は5組の単純な平均になります。

$x$ の期待値は $(1+2+3+4+5)/5=3$、$y$ の期待値は $(2+3+5+4+6)/5=4$ です。偏差の積の合計は $4+1+0+0+4=9$ なので、共分散は $9/5=1.8$ です。値が正なので、$x$ が大きい組ほど $y$ も大きい傾向を表しています。

次に $y$ の並びを逆向きにして、組1から順に 6, 4, 5, 3, 2 とします。$y$ の期待値は同じ4ですが、偏差は 2, 0, 1, -1, -2 になります。$x$ の偏差との積は -4, 0, 0, -1, -4 で、合計は -9 です。共分散は $-9/5=-1.8$ となり、$x$ が大きい組ほど $y$ が小さい傾向が負の符号に表れます。

最初の例で $x$ の値をすべて10倍にすると(たとえば長さの単位をセンチメートルからミリメートルに変えた場合)、$x$ の偏差もすべて10倍になるので、共分散は1.8から18に変わります。2つの変数の関係は何も変わっていないのに数値は10倍になります。このため、共分散の大きさだけでは、尺度の異なる変数の組どうしで関係の強さを比べられません。

共分散が0でも独立とは限らない

同書は、共分散と依存関係は関連しているものの別の概念だと注意しています。2つの確率変数が独立である(一方の値を知っても他方の値の確率が変わらない)なら、共分散は0です。言い換えると、共分散が0でない2つの変数は、必ず互いに依存しています。

しかし逆は成り立ちません。同書によると、共分散が0であるためには、2つの変数の間に線形な依存関係(一方がもう一方に比例して増減するような直線的な関係)が無いことが必要です。独立はそれより強い条件で、非線形な関係も排除します。そのため、互いに依存しているのに共分散が0になる2つの変数が存在します。

同書が示す例は次のとおりです。

• 区間 $[-1,1]$ 上の一様分布(区間内のどの値も同じ出やすさの分布)から、実数 $x$ を取り出します。
• 変数 $s$ は、確率 $1/2$ で $1$、残りの確率 $1/2$ で $-1$ になるように取り出します。
• $y=sx$ とします。

$y$ の大きさ $|y|$ は常に $|x|$ と等しいので、$x$ の値が決まれば $y$ の大きさも完全に決まります。したがって $x$ と $y$ は独立ではありません。それでも同書は、$\mathrm{Cov}(x,y)=0$ になると述べています。

0になることは、式に当てはめて確かめられます。$x$ の期待値は区間の中央の0です。$s$ の期待値も $1\times 1/2+(-1)\times 1/2=0$ で、$s$ は $x$ とは別に選ばれるので、$y$ の期待値も0になります。すると共分散は $\mathbb{E}[xy]=\mathbb{E}[s{x}^2]$ です。たとえば $x=0.5$ が出たとき、積 $xy$ は $s=1$ なら0.25、$s=-1$ なら-0.25で、2つは同じ確率で出るので打ち消し合います。どの $x$ についても同じことが起こるので、期待値は0になります。

この例では、$x$ が大きいほど $y$ が大きい、あるいは小さいという直線的な傾向が無いため共分散は0ですが、$|y|=|x|$ という非線形な関係は残っています。共分散が0であることを確かめただけでは、2つの変数が独立だと結論できません。

多くの変数をまとめる共分散行列

同書は、$n$ 個の実数を並べた確率変数のベクトル $\mathbf{x}\in {\mathbb{R}}^n$ について、すべての組み合わせの共分散を並べた $n\times n$ の行列を共分散行列と呼び、次のように定義しています(同書の式3.14)。

$$\mathrm{Cov}(\mathbf{x}{)}_{i,j}=\mathrm{Cov}(x_i,x_j)$$

$i$ 行 $j$ 列の成分は、$i$ 番目の変数と $j$ 番目の変数の共分散です。対角成分、つまり $i=j$ の成分は同じ変数どうしの共分散で、同書はこれが分散に等しいことを示しています(同書の式3.15)。

$$\mathrm{Cov}(x_i,x_i)=\mathrm{Var}(x_i)$$

分散は、1つの変数の値が平均のまわりにどれだけ散らばっているかを表す量です。定義の式で2つの変数を同じものにすると、偏差の2乗の期待値になります。これが分散の定義と同じ形なので、式3.15が成り立ちます。

上の計算例の最初の5組を使うと、$x$ の偏差の2乗は 4, 1, 0, 1, 4 で、期待値は $10/5=2$ です。$y$ の偏差の2乗は 4, 1, 1, 0, 4 で、期待値は同じく $10/5=2$ です。共分散行列は次のようになります。

$$\left(\begin{array}{cc}2& 1.8\\ 1.8& 2\end{array}\right)$$

定義の式の中の2つの偏差は、掛ける順番を入れ替えても積が変わりません。そのため $\mathrm{Cov}(x,y)=\mathrm{Cov}(y,x)$ となり、共分散行列は対角線をはさんで同じ値が並ぶ対称な行列になります。

データから共分散を見積もるとき

ここまでの式は、確率変数の本当の分布についての定義です。上の計算例も、5組を等しい確率で選ぶ分布として扱ったので、定義どおり5で割りました。

実際には分布そのものが分からず、手元にある $N$ 組のデータから共分散を見積もることが多くあります。分散・標準偏差のページで見たとおり、分散をデータから推定するときは $N$ ではなく $N-1$ で割った不偏分散を使うのが標準です。共分散をデータから推定するときも、同じ考え方に基づいて $N-1$ で割る方法がよく使われます(この対応関係はこのページの根拠資料には直接書かれておらず、分散の扱いから類推したものです)。どちらで割るかによって値は少し変わるので、計算に使う道具や資料がどちらの定義をとっているかを確認しておくと、数値の食い違いに戸惑わずに済みます。