潜在的ディリクレ配分法

離散データの集合に対する生成的確率モデル

潜在的ディリクレ配分法(Latent Dirichlet Allocation、略称 LDA)は、Blei、Ng、Jordan の3名が2003年に Journal of Machine Learning Research 第3巻で発表した論文で説明した手法です。論文は LDA を、テキストコーパスのような離散データの集合(collection)に対する生成的な確率モデル(generative probabilistic model)と定義しています。

生成的なモデルとは、データがどのような確率的な手順で作られたかを仮定し、その手順をモデルとして書き表すものです。LDA は、文書に含まれる単語がどのように選ばれたかを確率の手順として表します。

3階層の階層ベイズモデル

論文は LDA を3階層の階層ベイズモデル(three-level hierarchical Bayesian model)と呼んでいます。構造は次の2点で説明されています。

• 集合の中の各要素(テキストの場合は各文書)は、背後にあるトピックの集まりに対する有限混合(finite mixture)としてモデル化されます。1つの文書は、いくつかのトピックが一定の割合で混ざってできたものとして扱われます。
• 各トピックは、背後にあるトピック確率の集まりに対する無限混合(infinite mixture)としてモデル化されます。

トピックそのものはデータに直接は現れず、モデルの中に仮定された観測されない変数(潜在変数)として扱われます。手法名の潜在的(latent)はこの点を指しています。

文書中の各単語が生成される手順

論文の3.1節は、文書中の各単語について次の2段階の生成過程を示しています。

1. トピック z を、多項分布 Multinomial(θ) から選びます。θ はその文書におけるトピックの混ざり具合を表します。
2. 選んだトピック z に条件づけられた多項分布 p(w|z,β) から、単語 w を選びます。

文書中のすべての単語がこの2段階で1語ずつ作られると仮定します。同じ文書の中でも、単語ごとに別のトピックが選ばれることがあります。LDA が1つの文書を複数のトピックの混合として扱えるのは、このためです。

bag-of-words の前提と交換可能性

LDA は bag-of-words の前提を置いています。文書中の単語の並び順は無視できる、という前提です。論文はこれを、確率論の言葉では文書中の単語の交換可能性(exchangeability)の仮定にあたると説明しています。この前提により、LDA は文書をどの単語が何回現れたかという情報だけで扱い、語順の情報は使いません。

論文で報告された応用

論文の実験では、文書モデリングとテキスト分類に加えて、協調フィルタリング(collaborative filtering)への応用結果も報告されています。LDA の対象はテキストに限らず、離散データの集合全般です。