トピックモデル

文書を背後のトピックの混合として表す

トピックモデルは、文書の集まり(テキストコーパス)のような離散データを対象にする確率モデルです。代表的な手法である潜在的ディリクレ配分法(LDA)を提案した Blei, Ng, Jordan(2003)は、LDAを、テキストコーパスのような離散データの集まりのための生成的な確率モデル(generative probabilistic model)と定義しています。

LDAでは、集まりの中の各文書を、背後にあるトピックの集合(underlying set of topics)の上の有限混合(finite mixture)としてモデル化します。1つの文書は1つのトピックだけでできているのではなく、複数のトピックがある割合で混ざり合ったものとして扱われます。トピックそのものは観測されるデータではなく、モデルの中にある潜在的(latent)なものです。

文書が生成される過程を確率で書く

トピックモデルは、文書がどのように生成されたかを確率の言葉で書き表します。同じ論文の§3.1では、LDAの生成過程として、文書中の各単語について次の2段階を示しています。

1. トピックzを、その文書のトピックの割合を表す多項分布 Multinomial(θ) から選ぶ
2. 選んだトピックに条件づけられた多項分布 p(w|z,β) から単語wを選ぶ

つまり、文書ごとに異なるトピックの割合θがあり、トピックごとに異なる単語の出やすさがある、という形で文書をとらえます。LDAはこの構造を3階層の階層ベイズモデル(three-level hierarchical Bayesian model)として組み立てています。LDAの詳しい仕組みは、潜在的ディリクレ配分法(LDA)の項目を参照してください。

単語の並び順を無視するbag-of-wordsの前提

LDAと、同じ論文の§1で比べられているpLSIなどの手法は、どれもbag-of-wordsの前提に立っています。これは、文書中の単語の並び順は無視してよいとする前提です。論文では、これを確率論の言葉で言えば、文書中の単語の交換可能性(exchangeability)の仮定であると説明しています。トピックモデルは、文書の中にどの単語がどれだけ現れるかをもとにトピックをとらえ、単語がどの順に並んでいるかは扱いません。

教師なし学習の一手法としての位置づけ

G検定シラバス2024では、トピックモデルは中項目8. 教師なし学習のキーワードとして、k-means法・クラスタリング・次元削減・主成分分析・特異値分解・t-SNE・多次元尺度構成法・デンドログラム・協調フィルタリング・コンテンツベースフィルタリング・コールドスタート問題と並んで挙げられています。トピックモデルが扱うトピックは、データに正解として付いているものではなく、モデルの中の潜在的なものです。

論文で報告されている応用

Blei, Ng, Jordan(2003)は、LDAの実験結果として、文書モデリング、テキスト分類に加えて、協調フィルタリング(collaborative filtering)への応用も報告しています。トピックモデルは、テキストだけでなく、離散データの集まりに対して使える手法として示されています。