隠れマルコフモデル

前提となるマルコフ連鎖

マルコフ連鎖は、確率変数の系列(状態の系列)について、その系列が現れる確率を教えてくれるモデルです。各状態は、ある集合の中のどれかの値をとります。マルコフ連鎖は非常に強い仮定を置きます。系列の未来を予測したいとき、重要なのは現在の状態だけであり、それより前の状態は現在の状態を通してしか未来に影響しない、という仮定です。明日の天気を予測するのに、今日の天気は調べてよいが、昨日の天気は見てはいけない、というような状況にたとえられます。

隠れた事象を扱えるようにした拡張

マルコフ連鎖は、観測できる事象の系列について確率を計算したいときに役立ちます。しかし多くの場面では、関心のある事象そのものは隠れていて、直接は観測できません。たとえば文章を読むとき、ふつう品詞タグは目に見えません。見えるのは単語であり、品詞タグは単語の並びから推測しなければなりません。観測されないことから、このタグを隠れた事象と呼びます。

隠れマルコフモデル(HMM)は、入力に現れる単語のような観測される事象と、品詞タグのような隠れた事象の両方を扱えるようにしたモデルです。隠れた事象は、確率モデルの中で観測を生み出す原因となる要素と考えます。

HMMを構成する要素と2つの仮定

HMMは次の要素で定められます。

• 状態の集合Q: N個の状態からなります。
• 遷移確率行列A: 各要素は状態iから状態jへ移る確率を表し、どの状態iについても、移り先jすべてにわたる確率を足すと1になります。
• 観測尤度B: 出力確率(emission probabilities)とも呼ばれ、ある観測がある状態から生成される確率を表します。
• 初期確率分布pi: マルコフ連鎖が状態iから始まる確率を表します。初期確率が0の状態は、最初の状態になれません。

HMMには、語彙Vから取り出されたT個の観測の系列Oが入力として与えられます。

1次のHMMは、2つの単純化の仮定を置きます。1つ目はマルコフ仮定で、1次のマルコフ連鎖と同じく、ある状態の確率はひとつ前の状態にのみ依存するというものです。2つ目は出力独立性の仮定で、ある観測の確率は、その観測を生成した状態にのみ依存し、ほかの状態やほかの観測には依存しないというものです。

具体例: アイスクリームから天気を推定する

Jason Eisner(2002)が考案した課題を見てみます。あなたは2799年の気候学者で、地球温暖化の歴史を研究しています。2020年夏のメリーランド州ボルチモアの天気の記録は見つかりませんが、Jason Eisnerの日記が見つかりました。そこには、その夏の毎日、彼がアイスクリームを何個食べたかが書かれています。目標は、この観測を手がかりに毎日の気温を推定することです。

課題を単純にするため、日には寒い日(C)と暑い日(H)の2種類しかないとします。すると課題は次のようになります。各日に食べたアイスクリームの個数を表す整数の系列Oが観測として与えられたとき、Jasonにアイスクリームを食べさせた原因である、天気の状態(HかCか)の隠れた系列Qを求めます。ここでは、アイスクリームの個数が観測される事象、天気が隠れた状態にあたります。