ベルヌーイ分布

0か1の値だけをとる1つの確率変数

ベルヌーイ分布(英語名 Bernoulli distribution)は、とりうる値が2つしかない確率変数1つについての確率分布です。イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書『Deep Learning』(2016年)の第3章では、ベルヌーイ分布を「1つの二値の確率変数についての分布」と定義しています。

二値とは、値が2種類しかないという意味です。コインを1回投げて表か裏か、メールが1通届いて迷惑メールかそうでないか、のように結果が2通りに分かれる場面では、片方の結果を1、もう片方を0という数に置き換えて扱います。この記事では、その確率変数を $x$ と書きます。

パラメータφが決めるもの

ベルヌーイ分布の形は、ギリシャ文字 $\varphi$ (ファイ)で書くパラメータ1つだけで決まります。パラメータとは、分布の形を決めるために外から与える数のことです。

$\varphi$ は「確率変数 $x$ が1になる確率」を表し、0以上1以下の値をとります。式で書くと $\varphi \in [0,1]$ です。$x$ がとる値は1と0しか無いので、1になる確率が決まれば、0になる確率も自動的に決まります。

$$P(x=1)=\varphi$$

$$P(x=0)=1-\varphi$$

たとえば $\varphi =0.5$ なら1と0が同じ確率で出る分布、$\varphi =0.9$ なら1がかなり出やすい分布になります。$\varphi =1$ なら $x$ は必ず1、$\varphi =0$ なら必ず0で、偶然に左右される部分が無くなります。この記事では教科書にならって $\varphi$ と書きますが、他の教材では同じパラメータを $p$ と書くこともあります。

2つの場合を1本の式にまとめる

上の2つの式は、$x$ が1の場合と0の場合を別々に書いたものです。教科書は、この2つを1本の式にまとめた形も示しています。

$$P(\mathrm{x}=x)={\varphi }^x(1-\varphi {)}^{1-x}$$

左辺の最初の $\mathrm{x}$ は確率変数、2つ目の $x$ はそれがとる具体的な値(1か0)を指しています。

この式に $x=1$ を入れると、${\varphi }^1(1-\varphi {)}^0$ になります。どんな数も0乗すると1なので、残るのは $\varphi$ です。$x=0$ を入れると ${\varphi }^0(1-\varphi {)}^1$ になり、残るのは $1-\varphi$ です。指数の $x$ と $1-x$ が、一方を1乗、もう一方を0乗にする切り替えの役割をしているので、場合分けをしなくても両方の確率を1つの式で表せます。

偏ったコインで数値を入れる

ここからは説明のために作った架空の例です。表が出る確率が0.3の偏ったコインを1回投げ、表を $x=1$、裏を $x=0$ とします。このとき $\varphi =0.3$ です。

まとめた式に値を入れると、次のようになります。

$$P(\mathrm{x}=1)=0.3^1\times 0.7^0=0.3$$

$$P(\mathrm{x}=0)=0.3^0\times 0.7^1=0.7$$

2つの確率を足すと1になり、起こりうる結果の確率がすべて揃っていることが確かめられます。

期待値と分散も、次の節の式に $\varphi =0.3$ を入れて求められます。

期待値と分散が表すこと

教科書は、ベルヌーイ分布の期待値と分散を次のように示しています。

$${\mathbb{E}}_{\mathrm{x}}[\mathrm{x}]=\varphi$$

$${\mathrm{Var}}_{\mathrm{x}}(\mathrm{x})=\varphi (1-\varphi )$$

期待値は、とりうる値にそれぞれの確率を掛けて足した値です。ベルヌーイ分布では $1\times \varphi +0\times (1-\varphi )$ を計算することになり、0の側の項が消えて $\varphi$ だけが残ります。コインの例なら、1回投げたときの $x$ の平均的な値が0.3だという意味です。

分散は、値が期待値からどれくらいばらつくかを表す量で、期待値との差を2乗して確率で重みづけした平均です。コインの例で定義どおりに計算すると、1が出たときの差の2乗は $(1-0.3{)}^2=0.49$、0が出たときは $(0-0.3{)}^2=0.09$ です。これを確率で重みづけして足すと $0.3\times 0.49+0.7\times 0.09=0.147+0.063=0.21$ になり、公式 $\varphi (1-\varphi )=0.3\times 0.7$ と同じ値が出ます。

分散 $\varphi (1-\varphi )$ に $\varphi$ のいくつかの値を入れると、次のようになります。

分散が最も大きくなるのは $\varphi =0.5$ のときで、値は0.25です。1と0が半々で出るとき、結果がどちらになるかを最も見通しにくいという直感と合っています。$\varphi$ が0か1に近づくほど結果はほぼ決まってしまい、分散は0に近づきます。また $\varphi$ と $1-\varphi$ を入れ替えても分散は変わらないので、表は $\varphi =0.5$ を中心に左右対称になります。

二項分布との関係

米国国立標準技術研究所(NIST)の統計ハンドブックは、二項分布を「互いに排反な2つの結果を持つ試行で使う」「成功確率 $p$ は全ての試行で一定であると仮定する」分布と説明しています。この、1回の試行が2つの排反な結果を持ち成功確率が一定であるという構造は、このページで説明したベルヌーイ分布の構造(パラメータ $\varphi$ で1になる確率を表す二値の確率変数)と一致します。NISTのこの節自体は「ベルヌーイ試行」という語を使っていませんが、二項分布のn回の試行それぞれが、このページのベルヌーイ分布と同じ構造を持つ1回の試行にあたると読めます。

このページの $\varphi$ と、二項分布のページで使う $p$ は、どちらも「1回の試行で成功する確率」を表す同じ種類の量です。同じ量でも、教科書や資料によって $\varphi$ と書くことも $p$ と書くこともあります。別の本や試験でこの確率を見かけたときは、記号だけで別の量だと決めつけず、何を表しているかを確かめてください。

誤解しやすい点

期待値 $\varphi$ は、$x$ が実際にとる値ではありません。コインの例では期待値が0.3ですが、1回投げた結果として出る $x$ は1か0のどちらかで、0.3という値が出ることはありません。期待値は、あくまで確率で重みづけした平均としての値です。

$\varphi$ は「1になる確率」なので、どちらの結果を1と置くかで値が変わります。コインの例で裏を1、表を0と置き直すと $\varphi =0.7$ になります。1と0の割り当ては扱う人が決めるもので、どちらを1にしたかを確かめてから $\varphi$ を読む必要があります。割り当てを入れ替えても、分散は $0.7\times 0.3=0.21$ で変わりません。

ベルヌーイ分布が扱うのは、二値の確率変数1つです。とりうる値が3つ以上ある変数や、連続した値をとる変数は、この分布の対象ではありません。