条件付き確率

分かっている情報で確率を絞り込む

確率は、ある出来事(事象)がどのくらい起こりやすいかを0から1の数で表したものです。条件付き確率は、ある事象がすでに起きたと分かっているときに、別の事象が起こる確率です。たとえば「取り出した玉に印が付いていると分かったとき、その玉が赤である確率」のように、与えられた情報を前提にして確率を考えます。

情報が加わると、起こりうる場合のうち、その情報と合わないものは考えから外れます。条件付き確率は、条件に合う場合だけを新しい全体とみなしたときに、その中で目当ての事象がどれだけの割合を占めるかを表します。

定義の式と、条件の側の確率が0より大きいという前提

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)の教科書「Deep Learning」(2016年)は、第3章で条件付き確率を次の式で定義しています(式3.5)。

$$P(\mathrm{y}=y\mid \mathrm{x}=x)=\frac{P(\mathrm{y}=y,\mathrm{x}=x)}{P(\mathrm{x}=x)}$$

$\mathrm{x}$ と $\mathrm{y}$ は確率変数です。確率変数とは、試行の結果に応じて値が決まる変数のことで、この式では立体の文字は変数そのもの、斜体の文字はその変数のとる具体的な値を表します。縦棒 $\mid$ の右側が条件で、左側が確率を知りたい事象です。式全体は「$\mathrm{x}$ が値 $x$ をとったと分かっているときに、$\mathrm{y}$ が値 $y$ をとる確率」と読みます。

分子の $P(\mathrm{y}=y,\mathrm{x}=x)$ は、2つのことが同時に起こる確率で、同時確率と呼ばれます。分母の $P(\mathrm{x}=x)$ は、条件の側が起こる確率です。つまり条件付き確率は、同時確率を条件の側の確率で割った値です。

このページでは以下、確率変数の代わりに事象 $A$ と $B$ を使って、同じ定義を次のようにも書きます。$B$ が起きたと分かっているときに $A$ が起こる確率という意味です。

$$P(A\mid B)=\frac{P(A,B)}{P(B)}$$

この式は、条件の側の確率 $P(\mathrm{x}=x)$ が0より大きいときだけ定義されます。教科書は、一度も起こらない事象を条件にした条件付き確率は計算できないと述べています。式の上でも、分母が0になるので割り算ができません。

袋の玉で計算する

ここからの数値は、説明のために作った例です。袋に玉が10個入っていて、色と印の有無の内訳が次のとおりだとします。

袋から玉を1個、どの玉も同じ起こりやすさで取り出します。取り出した玉が赤である事象を $A$、印ありである事象を $B$ とします。印ありの玉は5個なので $P(B)=5/10$、赤で印ありの玉は3個なので $P(A,B)=3/10$ です。定義の式に当てはめると次のようになります。

$$P(A\mid B)=\frac{3/10}{5/10}=\frac{3}{5}=0.6$$

印の有無が分かる前に赤を引く確率 $P(A)$ は $4/10=0.4$ です。印ありという情報が加わったことで、赤である確率は0.4から0.6に上がりました。

どの玉も同じ起こりやすさで出るときは、分子と分母の「10個中」が打ち消し合います。そのため条件付き確率は、印ありの5個のうち赤が3個という個数の比 $3/5$ と同じになります。最初の節で述べた、条件に合う場合だけを新しい全体とみなすという説明は、この計算に対応しています。

条件と結果を入れ替えると別の値になる

同じ袋で、取り出した玉が赤だと分かったときに、その玉が印ありである確率を求めます。今度は条件が $A$ なので、分母は $P(A)=4/10$ です。

$$P(B\mid A)=\frac{3/10}{4/10}=\frac{3}{4}=0.75$$

$P(A\mid B)=0.6$ とは値が違います。分子の同時確率はどちらも $3/10$ で同じですが、分母になる条件の側が違うためです。縦棒の左右を取り違えると、別の問いに答えてしまいます。

2つの値は、同じ同時確率を通してつながっています。定義の式の分母を払うと、$P(A,B)=P(A\mid B)P(B)=P(B\mid A)P(A)$ が成り立ちます。袋の例でも $0.6\times 0.5=0.3$、$0.75\times 0.4=0.3$ で一致します。この関係を割り算の形に直し、$P(B\mid A)$ から $P(A\mid B)$ を求める式は、ベイズの定理として知られています。

もとの確率と比べて情報の効き方を読む

条件付き確率 $P(A\mid B)$ と、条件を付けない確率 $P(A)$ とを比べると、$B$ が起きたという情報が $A$ の起こりやすさをどう変えたかが分かります。袋の例では0.4から0.6へ上がったので、印ありという情報は、赤である見込みを高める方向に働いています。$P(A\mid B)$ が $P(A)$ より小さければ、$B$ の情報は $A$ の見込みを下げる方向に働いています。

同時確率が $P(A,B)=P(A)P(B)$ のように各確率の積に等しい場合を考えます。このとき定義の式に当てはめると、次のように $B$ の確率が打ち消し合います。

$$P(A\mid B)=\frac{P(A)P(B)}{P(B)}=P(A)$$

$B$ が起きたと分かっても、$A$ の確率は変わりません。このとき、$A$ と $B$ は独立であるといいます。袋の例では $P(A)P(B)=0.4\times 0.5=0.2$ で、実際の同時確率0.3と等しくないので、色と印は独立ではありません。

条件付き確率を掛け合わせて同時確率を組み立てる

教科書は、定義の式のすぐ後で、多くの確率変数の同時確率が、1つの変数ずつの条件付き確率の積に分解できることを示しています(式3.6)。これは条件付き確率の定義から直接導かれる関係で、教科書は連鎖律(chain rule)と呼んでいます。

$$P({\mathrm{x}}^{(1)},\dots ,{\mathrm{x}}^{(n)})=P({\mathrm{x}}^{(1)})\prod _{i=2}^{n}P({\mathrm{x}}^{(i)}\mid {\mathrm{x}}^{(1)},\dots ,{\mathrm{x}}^{(i-1)})$$

$\prod$ は、添え字 $i$ を2から $n$ まで動かした項をすべて掛け合わせる記号です。変数が3つなら、次の形になります。

$$P({\mathrm{x}}^{(1)},{\mathrm{x}}^{(2)},{\mathrm{x}}^{(3)})=P({\mathrm{x}}^{(1)})P({\mathrm{x}}^{(2)}\mid {\mathrm{x}}^{(1)})P({\mathrm{x}}^{(3)}\mid {\mathrm{x}}^{(1)},{\mathrm{x}}^{(2)})$$

1番目の変数の確率から始めて、2番目以降はそれより前の変数すべてを条件にした条件付き確率を順に掛けていきます。

先ほどの袋から、取り出した玉を戻さずに2個続けて取り出し、2個とも赤である確率を求めます。1個目が赤である確率は $4/10$ です。1個目が赤だった場合、袋には9個が残り、そのうち赤は3個なので、2個目も赤である条件付き確率は $3/9$ です。

$$P(\text{1個目が赤},\text{2個目が赤})=\frac{4}{10}\times \frac{3}{9}=\frac{2}{15}\approx 0.133$$

2個目の確率が1個目の結果に左右される場面でも、条件付き確率を使えば同時確率を順に組み立てられます。なお、合成関数の微分にも連鎖律と呼ばれる規則がありますが、ここでの連鎖律は確率を掛け合わせる規則で、別のものです。

観察した割合であり、行動した結果ではない

条件付き確率は、ある条件が成り立っている場合を集めたときの割合を表します。教科書は、条件付き確率と、ある行動を取ったら何が起こるかを計算することを混同してはならないと注意しています。

教科書が挙げる例では、ドイツ語を話す人がドイツ出身である条件付き確率はかなり高くなります。しかし、無作為に選んだ人にドイツ語を教えても、その人の出身国は変わりません。ドイツ語を話すという条件は出身国を見分ける手がかりになりますが、ドイツ語を話せるようにすることが出身国を変えるわけではないからです。

行動を起こした結果を求める問いは、介入クエリ(intervention query)と呼ばれます。教科書は、これが因果モデリング(原因と結果の関係を表すモデルを扱う分野)の領域であるとし、この本では扱わないと述べています。条件付き確率が高いというだけでは、条件の側を変えれば結果の側も変わるとは結論できません。