相関と距離：2つの量の関係と、近さのはかり方

ねらい

このレッスンでは、2つの量がどう関係し合うかと、2つのデータがどれだけ近いかを数で表す方法を学びます。人工知能は、たくさんの量のからみ合いを扱い、データどうしの近さを手がかりに判断します。だから、関係と近さをはかる道具が欠かせません。

前半の基礎層では、2つの量が一緒に動くかを見る相関と、見かけだけの関係である疑似相関をつかみます。前提となる数学の知識がなくても、ここは読み切れます。

後半の深掘り層では、相関を数にする共分散と相関係数、第3の量を取りのぞく偏相関係数、そしてデータどうしの近さをはかる各種の距離までを数式も言葉で読み下しながらふみこみます。こちらは、ある程度の知識のある人に向けた発展です。

基礎

2つの量が一緒に動くかを見る相関と、データどうしがどれだけ近いかをはかる考え方を見ます。

1. 一緒に動くか、を見る相関

2つの量のあいだにある「片方が増えると、もう片方も増える」といった結びつきを相関（そうかん）といいます。

相関には向きがあります。身長と体重のように、片方が大きいほどもう片方も大きくなる関係を正の相関といいます。反対に、標高が高いほど気温が低くなるように、片方が大きいほどもう片方が小さくなる関係を負の相関といいます。どちらの傾向もはっきりしない場合は、相関がないといいます。

相関は、2つの量がどれだけ足並みをそろえて動くかを表しています。強い相関があれば、片方から片方をある程度見当づけられます。人工知能が、ある特徴から別の値を予測するとき、こうした相関を手がかりにします。

2. 見かけだけの関係、疑似相関

相関には、落とし穴があります。2つの量に相関があるように見えても、実は直接の結びつきがない場合があるのです。

よく挙げられる例があります。ある地域で、アイスクリームの売上が伸びる時期には、水の事故も増える、という相関です。だからといって、アイスクリームが事故を起こすわけではありません。どちらも「夏の暑さ」という共通の原因によって、同時に増えているだけです。

このように、直接の結びつきがないのに、共通の原因などによって相関があるように見えることを疑似相関（ぎじそうかん）といいます。疑似相関を見のがすと、原因を取り違えた判断をしてしまいます。相関があるからといって、片方がもう片方の原因だとは限らない、という注意はとても大切です。

ここまでの要点

• 相関とは、2つの量が一緒に動く関係で、正の相関・負の相関・相関なしがあります。
• 相関があっても直接の結びつきとは限りません。共通の原因による見かけの関係を疑似相関といいます。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「相関は一緒に動く関係、ただし相関は原因を意味しない」と押さえていれば、この先の深掘りに進む土台はできています。

発展

ここからは、相関を数にする共分散と相関係数、第3の量の影響を取りのぞく偏相関係数、そしてデータどうしの近さをはかる距離をくわしく見ます。数式も少し使いますが、記号は必ず言葉で読み下します。

3. 相関を数にする、共分散と相関係数

相関の強さを数で表すために、まず共分散（きょうぶんさん）を考えます。共分散は、2つの量が中心からのずれをそろえて動くかどうかを表す値です。

考え方はこうです。まず、それぞれの量について、各データが平均からどれだけ離れているかを取ります。次に、同じデータについて、2つの量のずれをかけ合わせます。両方が同じ向きにずれていれば、かけ算はプラスになります。逆向きにずれていれば、マイナスになります。このかけ合わせをすべてのデータについて平均した値が共分散です。共分散がプラスなら正の相関、マイナスなら負の相関を表します。

ただし共分散には難点があります。値の大きさが、もとの量の単位に左右されてしまうことです。センチメートルで測るかメートルで測るかだけで、共分散の値が変わります。これでは、相関の強さどうしを比べられません。

そこで、共分散を2つの量それぞれの標準偏差の積で割ります。標準偏差は、前のレッスンで学んだ散らばりの大きさです。この割り算をすると、単位の影響が消え、値が必ずマイナス1からプラス1のあいだに収まります。こうして得た値を相関係数（そうかんけいすう）といいます。相関係数がプラス1に近いほど強い正の相関、マイナス1に近いほど強い負の相関、0に近いほど相関が弱いことを表します。

理解の確認

共分散は、2つの量のずれを平均を基準にかけ合わせ、平均した値で、符号が相関の向きを表します。相関係数は、共分散を2つの標準偏差の積で割り、マイナス1からプラス1のあいだに収めた値で、相関の強さを単位によらず比べられます。

4. 第3の量を取りのぞく、偏相関係数

相関係数だけでは、疑似相関を見やぶれないことがあります。第2節のアイスクリームと水の事故のように、共通の原因がひそんでいる場合です。

そこで、気になる第3の量の影響を取りのぞいてから、2つの量の相関を測りなおします。このようにして求めた相関を偏相関係数（へんそうかんけいすう）といいます。「偏」は、他の影響をかたよせて取りのぞく、という意味合いです。

アイスクリームの売上と水の事故なら、「気温」という第3の量の影響を取りのぞいてから、両者の相関を測ります。すると、見かけの相関がほとんど消えます。偏相関係数は、見せかけの関係と本当の関係を切り分けるための道具です。

理解の確認

偏相関係数は、気になる第3の量の影響を取りのぞいたうえで測った、2つの量の相関です。共通の原因による疑似相関を見やぶり、見かけの関係と本当の関係を切り分けるのに役立ちます。

5. データどうしの近さをはかる、3つの距離

ここからは、2つのデータがどれだけ近いかをはかる方法を見ます。単語の分散表現のように、データが数のならび、つまりベクトルで表されているときの近さです。

もっとも素直なのは、2点を結ぶまっすぐな線の長さです。これをユークリッド距離（ユークリッドきょり）といいます。地図の上で2地点を定規で結んだときの長さ、と考えると分かりやすくなります。各成分の差を二乗して足し合わせ、その平方根を取って求めます。式で書くと、ユークリッド距離 ＝ √（ 各成分の差を二乗したものの合計 ）となります。二乗と平方根は、前のレッスンの分散と標準偏差で使ったのと同じ計算です。ユークリッド距離が小さいほど、2つのデータは近くにあります。

次に、長さではなく向きに注目する測り方があります。これをコサイン類似度（コサインるいじど）といいます。2つのベクトルが指す向きが、どれだけそろっているかを表します。向きがぴったり同じなら1、直角なら0、正反対ならマイナス1になります。単語の分散表現で「向きの近さが意味の近さを表す」と学んだ、あの近さを数にしたものが、このコサイン類似度です。ベクトルの長さのちがいを気にせず、向きだけで近さを見たいときに使います。

3つ目は、データ全体の散らばり方まで考えに入れる測り方です。これをマハラノビス距離（マハラノビスきょり）といいます。ふつうの距離は、どの向きも同じものさしで測ります。マハラノビス距離は、データがよく散らばっている向きはゆるく、あまり散らばっていない向きは厳しく測ります。同じ見た目の離れかたでも、ふだんばらつかない向きへのずれをより遠いと見なします。データのばらつきや量どうしの相関を織りこんで、異常なほど離れた点を見つけるのに向いています。

理解の確認

ユークリッド距離は2点を結ぶまっすぐな線の長さ、コサイン類似度は2つのベクトルの向きのそろいぐあいです。マハラノビス距離は、データの散らばり方を織りこみ、ばらつかない向きへのずれをより遠いと見なします。単語の分散表現で言う「向きの近さ」は、コサイン類似度にあたります。

6. 直線でない関係もとらえる、相互情報量

相関係数は、まっすぐな線にそった関係の強さを測ります。ところが、2つの量の結びつきは、まっすぐとは限りません。曲がった関係だと、相関係数はほとんど0になり、関係を見のがすことがあります。

そこで、関係の形にしばられずに結びつきをはかる量が、相互情報量（そうごじょうほうりょう）です。相互情報量は、片方の量を知ることで、もう片方についての不確かさがどれだけ減るかを表します。片方が分かれば片方がぴたりと決まるなら、相互情報量は大きくなります。片方を知っても何も分からないなら、0になります。

相互情報量は、まっすぐでない関係もふくめて、2つの量がどれだけ深く結びついているかを広くとらえられます。第1章で学んだ条件付き確率の考え方が、この量の土台になっています。

理解の確認

相互情報量は、片方の量を知ることで、もう片方の不確かさがどれだけ減るかを表す量です。まっすぐな線にそった関係しか測れない相関係数とちがい、曲がった関係もふくめて、2つの量の結びつきを広くとらえられます。

理解度の確認