相関係数

2つの変数の直線的な関係を1つの数で表す

米国国立標準技術研究所(NIST)が公開している統計ソフトウェア Dataplot の解説書は、相関係数を「2つの変数の線形関係の尺度」と定義しています。線形関係とは、一方の変数が増えるともう一方がほぼ一定の割合で増える、または減るという関係のことです。2つの変数の組を点として平面に描くと、点が1本の直線の周りに並びます。

変数 $x$ が大きい組ほど変数 $y$ も大きい傾向があれば、相関係数はプラスの値になります。$x$ が大きい組ほど $y$ が小さい傾向があれば、相関係数はマイナスの値になります。

偏差平方和と偏差積和で書いた式

NIST の解説書は、$n$ 組のデータ $(X_1,Y_1),\dots ,(X_n,Y_n)$ から相関係数 $r$ を次の式で求めています。

$$r=\frac{S_{xy}}{\sqrt{S_{xx}}\sqrt{S_{yy}}}$$

式に出てくる3つの量は次のとおりです。$\bar{X}$ と $\bar{Y}$ は、それぞれの変数の平均です。

$$S_{xx}=\sum _{i=1}^n(X_i-\bar{X}{)}^2,S_{yy}=\sum _{i=1}^n(Y_i-\bar{Y}{)}^2,S_{xy}=\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$

• $X_i-\bar{X}$ は、各データが平均からどれだけ離れているかを表す値で、偏差と呼びます。
• $S_{xx}$ と $S_{yy}$ は偏差の2乗の合計で、偏差平方和と呼びます。それぞれの変数のばらつきの大きさを表し、0以上の値をとります。
• $S_{xy}$ は $x$ の偏差と $y$ の偏差を組ごとに掛けて合計した値で、偏差積和と呼びます。

関係の向きは、分子の偏差積和の符号で決まります。$x$ が平均より大きい組で $y$ も平均より大きいと、偏差の積はプラスになります。$x$ が平均より大きい組で $y$ が平均より小さいと、偏差の積はマイナスになります。前者の組が多ければ $S_{xy}$ はプラスに、後者の組が多ければマイナスに傾きます。分母の2つの平方根は常に0以上なので、$r$ の符号は $S_{xy}$ の符号と一致します。

共分散を標準偏差で割る理由

共分散は、2つの変数がそれぞれの平均から同じ向きにずれやすいか、逆向きにずれやすいかを表す量です。プラスなら2つの変数が同時に大きな値をとる傾向、マイナスなら一方が大きいときに他方が小さい傾向を示します。データから計算するときは、偏差積和 $S_{xy}$ をデータの数で割った形になります。

共分散の値は、変数の単位や目盛りの大きさに左右されます。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書「Deep Learning」(2016年)の第3章は、共分散を説明した箇所で、相関のような指標は各変数の寄与を正規化し、変数ごとの目盛りの大きさに影響されずに、変数どうしがどれだけ関係しているかだけを測るものだと述べています。

相関係数の式の分子と分母をどちらも同じ数で割り直すと、この正規化の形が見えます。標準偏差のページで見たとおり、データから計算する分散・標準偏差はデータの個数(このページの記号では $n$)ではなく $n-1$ で割った不偏分散を使うのが標準です。

$$r=\frac{S_{xy}/(n-1)}{\sqrt{S_{xx}/(n-1)}\sqrt{S_{yy}/(n-1)}}$$

分子の $S_{xy}/(n-1)$ は共分散です。分母の $\sqrt{S_{xx}/(n-1)}$ と $\sqrt{S_{yy}/(n-1)}$ は、それぞれ $x$ と $y$ の標準偏差(ばらつきの大きさを元のデータと同じ単位で表した量)です。つまり相関係数は、共分散を2つの標準偏差の積で割った値です。$n-1$ の代わりに $n$ で割る流儀を使っても、分子と分母で打ち消し合うので $r$ の値は変わりません(このページの $n$・$X_i$・$Y_i$ という記号は、根拠にしたNISTの資料の記法で、分散・標準偏差のページの根拠であるGoodfellowの教科書が使う $N$・$Y_i$ とは出典が異なるだけで同じ意味です)。

単位の影響が消えることは、数値で確かめられます。$x$ の単位をメートルからセンチメートルに変えて、すべての値を100倍にしたとします。偏差も100倍になるので、$S_{xy}$ は100倍、$S_{xx}$ は10000倍になり、$\sqrt{S_{xx}}$ は100倍になります。分子と分母に同じ100倍が現れて打ち消し合うので、$r$ は変わりません。これに対して共分散は100倍の値に変わります。単位の異なる組どうしで関係の強さを比べるときに、共分散ではなく相関係数を使う理由はここにあります。

値の範囲と読み方

NIST の解説書によると、完全な線形関係があるとき相関係数は +1 になり、負の向きの完全な線形関係なら -1 になります。線形関係が無いときは 0 になります。

相関係数は必ず -1 以上 +1 以下の値をとります。これは、偏差積和の大きさが2つの偏差平方和の平方根の積を超えないという数学上の性質(コーシー・シュワルツの不等式)から導かれる結果で、NIST の解説書が述べている内容ではありません。絶対値が1に近いほど点は直線の近くに集まり、0に近いほど直線的な傾向は弱くなります。どの値から関係が強いと呼ぶかについて、根拠にした2つの資料は基準を示していません。

どちらかの変数の値がすべて同じだと、その変数の偏差平方和が0になり、分母が0になります。この場合、相関係数は計算できません。

5組のデータで計算する

説明のための架空のデータとして、次の5組を使います。$x$ の平均は $\bar{X}=15/5=3$、$y$ の平均は $\bar{Y}=20/5=4$ です。

表から3つの量を求めます。

$$S_{xx}=4+1+0+1+4=10,S_{yy}=4+0+1+0+1=6,S_{xy}=4+0+0+0+2=6$$

これを式に入れると、次の値になります。

$$r=\frac{6}{\sqrt{10}\sqrt{6}}=\frac{6}{\sqrt{60}}\approx \frac{6}{7.746}\approx 0.775$$

$r$ はプラスで1に近いので、$x$ が大きい組ほど $y$ も大きいという右上がりの傾向があります。ただし組2から組4のように点が直線からずれているので、1にはなりません。

比べるために、$y$ を $x$ のちょうど2倍にした5組 $(1,2),(2,4),(3,6),(4,8),(5,10)$ で計算します。$y$ の平均は6、$y$ の偏差は $-4,-2,0,2,4$ です。$S_{xx}=10$、$S_{yy}=40$、$S_{xy}=8+2+0+2+8=20$ なので、$r=20/(\sqrt{10}\sqrt{40})=20/20=1$ となり、すべての点が直線上に並ぶ場合に +1 になることが確かめられます。

曲線の関係では 0 に近くなることがある

相関係数は線形関係の尺度なので、直線でない関係の強さは測れません。$y$ が $x$ から完全に決まる関係でも、相関係数が0になることがあります。

$x=-2,-1,0,1,2$ に対して $y=x^2$ とした5組 $(-2,4),(-1,1),(0,0),(1,1),(2,4)$ で計算します。$x$ の平均は0、$y$ の平均は2です。$y$ の偏差は $2,-1,-2,-1,2$ なので、偏差積和は次のとおりです。

$$S_{xy}=(-2)(2)+(-1)(-1)+(0)(-2)+(1)(-1)+(2)(2)=-4+1+0-1+4=0$$

分子が0なので $r=0$ です。$x$ が0から離れると $y$ は左右どちらでも大きくなるので、右上がりの部分と右下がりの部分が打ち消し合います。$y$ は $x$ から1つに決まるのに、相関係数は「線形関係が無い」ことを示す値になります。

教科書「Deep Learning」の第3章も、共分散について同じ種類の注意を述べています。2つの変数が互いに独立(一方の値が他方の値の出方に影響しない)なら共分散は0になりますが、共分散が0だからといって独立とは限りません。独立は非線形の関係まで排除する、より強い条件だからです。相関係数は共分散を標準偏差で割った値なので、この注意は相関係数にもそのまま当てはまります。相関係数が0に近いときは、散布図(2つの変数の組を点として描いた図)で点の並び方を確かめると、曲線状の関係を見落としにくくなります。

相関と因果を取り違えない

この節の内容は、根拠にした NIST の解説書や教科書「Deep Learning」が述べていることではなく、統計学で一般に知られている注意です。

相関係数が +1 や -1 に近くても、一方の変数が他方の変数の原因だとは限りません。2つの変数の両方に影響する別の要因があると、2つの変数のあいだに直接の因果が無くても、相関係数は大きな値になりえます。

式からも、相関係数が因果の向きを表さないことが分かります。$S_{xy}$ は $x$ と $y$ を入れ替えても同じ値で、分母も $\sqrt{S_{xx}}$ と $\sqrt{S_{yy}}$ の積なので入れ替えても変わりません。相関係数は $x$ と $y$ のどちらが原因かを区別しない、対称な量です。