word2vec

単語を連続的なベクトルで表す2つのモデル

word2vecは、非常に大規模なデータセットから、単語の連続的なベクトル表現を計算するための手法です。この用語集では、論文 Efficient Estimation of Word Representations in Vector Space で提案された2つの新しいモデルアーキテクチャ、Continuous Bag-of-Words Model(CBOW)と Continuous Skip-gram Model を中心に扱います。word2vecという名前そのものは論文名には出てきませんが、この2つのアーキテクチャを指す呼び名として理解しておくと整理しやすくなります。

単語を連続的なベクトルで表すと、単語どうしの似ている度合いをベクトルの上で扱えるようになります。論文では、得られた表現の質を単語の類似度を測る課題で評価しています。

予測の向きが逆になっているCBOWとSkip-gram

2つのアーキテクチャは、どちらも単語とその周りの単語の関係を予測することで学習しますが、予測の向きが互いに逆になっています。

• CBOWは、周りにある文脈の単語から、現在の単語を予測します。
• Skip-gramは、現在の単語から、その周りにある文脈の単語を予測します。

論文の図のキャプションでも、CBOWは文脈にもとづいて現在の単語を予測し、Skip-gramは現在の単語が与えられたときに周囲の単語を予測する、と説明されています。word2vecを理解するうえでは、まずこの予測の向きの違いを押さえることが大切です。それぞれの内部の仕組みは、CBOWとSkip-gramの各項目で扱います。

先行研究から受け継いだ考え方

この2つのアーキテクチャは、同じ研究グループによる先行研究を直接引き継いだものです。先行研究では、ニューラルネットワーク言語モデルを2段階で学習できることが示されていました。まず単純なモデルで連続的な単語ベクトルを学習し、次にその単語の分散表現の上でN-gramのニューラルネットワーク言語モデルを学習する、という進め方です。

単語ベクトルの学習については、その後も多くの研究が行われましたが、論文はこの先行研究の方法をもっとも単純なものと位置づけています。word2vecは、この単純さを保ちながら単語ベクトルを効率よく学習することを目指したモデルだといえます。

精度と計算コストの両面での成果

論文では、得られた単語表現の質を単語の類似度の課題で測り、さまざまな種類のニューラルネットワークにもとづく、それまでもっとも性能が高かった手法と比較しています。その結果、精度が大きく向上し、しかも計算コストははるかに低い、という成果が報告されています。

精度を上げると計算の負担も増えやすいなかで、両方を同時に改善した点が、word2vecの大きな特徴です。大規模なデータセットから単語のベクトル表現を効率よく得られることが、この手法の強みになっています。