最尤法

最尤法とは

最尤法(さいゆうほう)は、手元にある観測データをもとに、モデルのパラメータの値を決める推定の方法です。考え方は一文で言えます。いくつか候補となるパラメータの値があるとき、その値が正しいと仮定した場合に、実際に観測されたデータ一式が得られる確率がいちばん高くなる値を選ぶ、というものです。

フィッシャー(Fisher)は1922年の論文 On the Mathematical Foundations of Theoretical Statistics のなかで、最尤法とは尤度を最大にするパラメータの値の組を選ぶことにほかならない、と述べています。

尤度という考え方

最尤法を理解するには、尤度(ゆうど)という量を押さえる必要があります。フィッシャーは尤度を次のように定義しました。

あるパラメータ(または複数のパラメータの組)が特定の値をとるという仮定について、その尤度とは、もしその仮定が正しかったとしたら、実際に観測されたとおりの観測結果の全体が得られる確率に比例する量である。

ここで大事なのは、見る向きです。ふつうの確率は、パラメータの値を決めたうえで、どんなデータが出やすいかを考えます。尤度は反対に、データはすでに観測されて固定されているものとし、パラメータの値をいろいろ変えたときに、そのデータの出やすさがどう変わるかを見ます。尤度は、パラメータの候補ごとに、その候補が観測データをどれだけうまく説明できるかを表す物差しだと考えるとわかりやすいでしょう。

また、フィッシャーの定義は確率に比例する量となっています。候補どうしを比べて、どの値で尤度が大きくなるかを知ることが目的なので、比例の定数は比較に影響しません。

最適値の定義

フィッシャーは同じ論文で、パラメータの最適値も定義しています。最適値とは、尤度が最も大きくなるパラメータの値(または値の組)のことです。最尤法は、この最適値を推定値として採用する方法だと言い換えられます。名前にある最尤は、尤度が最も大きいという意味です。

具体例 成功と失敗の割合を推定する

フィッシャーが挙げた例を見てみましょう。

無限に大きな母集団があり、そのうち割合pが成功、残りが失敗であるとします。この母集団からn個のサンプルを取り出したところ、成功がx個、失敗がy個でした。

このようなサンプルが得られる確率は、pのx乗と、1からpを引いた値のy乗とを掛け合わせた積に比例します。成功が1回起こるごとにpが1回掛かり、失敗が1回起こるごとに1からpを引いた値が1回掛かる、と考えるとイメージしやすいでしょう。この積が、割合pについての尤度にあたります。

最尤法を当てはめると、この積をできるだけ大きくするpの値を選ぶことになります。

数字で試してみます。10個のサンプルのうち成功が7個、失敗が3個だったとします。候補のpごとに、pの7乗と、1からpを引いた値の3乗との積を計算すると、次のようになります。

• pが0.5のとき、およそ0.00098
• pが0.7のとき、およそ0.0022
• pが0.9のとき、およそ0.00048

この3つの候補の中ではpが0.7のときに尤度が最も大きくなるので、観測データをいちばんよく説明する候補は0.7だと判断できます。最尤法では、このように候補を比べる作業を、とりうるすべてのpについて行い、尤度が最大になる値を推定値とします。

どんな場面に使えるか

フィッシャーは、この形の最尤法は任意の個数の変量(観測される量)を持つ母集団のあてはめに適用でき、しかも離散的な分布(成功と失敗の回数のように、とびとびの値をとる分布)にも、連続的な分布(身長や時間のように、連続した値をとる分布)にも等しく適用できる、と述べています。

つまり最尤法は、特定の種類のデータ専用の手法ではありません。パラメータを仮定したときに観測データの確率(に比例する量)を書き下せるモデルであれば、同じ手順で使える一般的な推定の考え方です。

ほかの推定の考え方との関係

パラメータを推定する考え方は最尤法だけではありません。たとえば最小二乗法も、データからパラメータを決める別の考え方として知られています。最尤法の特徴は、観測データが得られる確率、つまり尤度を基準にしてパラメータを選ぶ点にあります。