BoW

文書を単語の出現回数で表すモデル

情報検索のベクトル空間モデルでは、1つの文書を、その文書に含まれる単語の出現回数を並べたベクトルとして表します。このように表すモデルは、bag-of-wordsモデル(BoW)と呼ばれることがあります。BoWは、文書の中身を数の並びに置き換えるための考え方の1つです。

単語を袋に入れるというイメージ

名前にあるbagは袋を意味します。BoWでは、文書をあたかも単語を詰めた袋であるかのように扱います。袋の中の単語には並び順がありません。つまり文書を、単語の位置を無視した順序のない単語の集まりとして捉え、各単語がその文書に何回現れたかという頻度だけを残します。

たとえば映画のレビューの抜粋を考えます。It manages to be whimsical and romantic のような語句について、単語がどの順に並んでいたかを記録する代わりに、抜粋全体でitという単語が5回現れた、love、recommend、movieがそれぞれ1回現れた、というように回数だけを書き留めます。

位置を捨てて頻度を使うという仮定

単語の位置を無視し、各単語の頻度を利用するという前提は、bag-of-words仮定と呼ばれます。BoWによる文書の表現は、この仮定の上に成り立っています。この仮定のもとでは、文書について残るのは各単語の出現回数だけであり、単語がどの位置に現れたかという情報は表現に含まれません。

回数を並べてベクトルにする

各単語を1つの次元とみなし、それぞれの次元にその単語の出現回数を入れると、文書を1本のベクトルとして書き表せます。レビューの例で、扱う単語を18個に限り、英語のそれ以外の単語を無視するとすれば、文書は [1 3 1 1 1 1 1 5 6 1 2 1 4 1 3 1 1 1] という18次元のベクトルで表せます。ベクトルの各成分は、対応する単語がその文書に何回現れたかを示しています。

BoWを理解するための要点

BoWを理解するうえでの要点は3つです。1つ目は、情報検索のベクトル空間モデルにおいて、文書を単語の出現回数のベクトルで表すモデルであることです。2つ目は、単語の位置や並び順を無視し、頻度だけを使うというbag-of-words仮定に基づくことです。3つ目は、文書を単語の入った袋、つまり順序のない単語の集まりとみなすという直感的なイメージで説明されることです。