相互情報量

相互情報量が答える問い

相互情報量は、2つの確率変数の関係を、一方を知ればもう一方についてどれだけわかるようになるか、という問いで測る指標です。情報理論の教科書であるカバー(Cover)とトーマス(Thomas)の Elements of Information Theory では、相互情報量を、ある確率変数がもう一方の確率変数についてどれだけの情報を含んでいるかの尺度であり、もう一方を知ることで生じる不確実性の減少である、と説明しています。

この説明を読むには、先にエントロピーという考え方を押さえておく必要があります。

前提となるエントロピー

同じ教科書では、確率変数のエントロピーを、その確率変数の不確実性の尺度であり、その確率変数を説明するのに平均してどれだけの情報量が要るかを表す尺度だと位置づけています。結果がどうなるか見当がつきにくい確率変数ほどエントロピーは大きく、ほぼ結果が決まっている確率変数ほど小さくなります。

相互情報量は、このエントロピーを使って、もう一方の確率変数を知る前と知った後で不確実性がどれだけ小さくなったか、という差として読み替えられます。

正式な定義は確率分布どうしの隔たり

相互情報量の正式な定義は、2つの確率変数の確率分布を比べる形で書かれています。

• 同時確率分布: 2つの確率変数がそれぞれどの値をとるかの組み合わせについての確率分布です
• 周辺確率分布: 片方の確率変数だけに注目したときの確率分布です

教科書では、相互情報量を、同時確率分布と、2つの周辺確率分布を掛け合わせてできる分布との間の相対エントロピーとして定義しています。相対エントロピーはカルバック・ライブラー情報量とも呼ばれ、2つの確率分布がどれだけ隔たっているかを表す量です。

周辺確率分布を単に掛け合わせた分布は、2つの確率変数が互いに影響し合わないとみなしたときの組み合わせの確率にあたります。実際の同時確率分布がそこからどれだけ離れているかを測ることで、2つの確率変数の結びつきを数えている、と読むことができます。

相関係数との対比: 出発点が違う

変数どうしの関係を表す指標としてよく知られているものに相関係数があります。相関係数は、2つの変数が一緒に増えたり減ったりする度合いを、それぞれの変数のばらつきの大きさでならして、マイナス1からプラス1の範囲に収めた値です。データの点が右上がりや右下がりの一本の直線にどれだけ沿って並んでいるかを表す、直線的な関係の強さの指標です。

相互情報量とは、次の点で出発点が異なります。

• 何を材料にするか: 相関係数は変数の値そのものの増減とばらつきから計算します。相互情報量は、2つの確率変数の確率分布から計算します
• 何を比べるか: 相関係数は、データが直線にどれだけ沿っているかを見ます。相互情報量は、実際の同時確率分布と、周辺確率分布を掛け合わせた分布との隔たりを見ます
• どんな枠組みの指標か: 相関係数は統計学で変数の直線的な関係を要約する指標です。相互情報量は、不確実性と情報量を扱う情報理論の指標で、エントロピーの減少として読み替えられます
• 形の前提: 相関係数は、その定義から直線という特定の形の関係を測ります。相互情報量の定義には、関係が直線であるという前提が入っていません

どちらも2つの変数の関係を1つの数で表す点は共通していますが、相関係数は直線的な関係の強さ、相互情報量は一方を知ることで減る不確実性の量という、別々の問いに答える指標だと整理しておくと混同しにくくなります。

エントロピーの減少としての読み方と対称性

教科書では、正式な定義を変形すると、相互情報量は、もう一方の確率変数を知ることによる、ある確率変数の不確実性の減少に等しいと示しています。もともとのエントロピーから、もう一方を知った後に残るエントロピーを引いた値、という読み方です。

さらに、同じ関係は2つの確率変数の役割を入れ替えても成り立ちます。1つ目を知ることで2つ目の不確実性が減る量と、2つ目を知ることで1つ目の不確実性が減る量は同じ値になります。教科書はこれを、一方がもう一方について語る情報量は、もう一方が一方について語る情報量と同じだけある、と表現しています。これが相互情報量の対称性です。

自分自身との相互情報量

ある確率変数と、その確率変数自身との相互情報量を考えると、その確率変数のエントロピーに等しくなります。自分自身を知れば、自分についての不確実性は何も残らないので、不確実性の減少はもともとのエントロピー全体になるからです。

この性質は、相互情報量が、一方を知ることで減らせる不確実性を数える量であることをよく表しています。もう一方を知ることで不確実性がすべて消える場合には、相互情報量はその確率変数のエントロピーそのものになる、と理解しておくとよいでしょう。