分散表現

連続的なベクトルで単語を表す

分散表現(distributed representation)は、単語を連続的な(continuous)ベクトルとして表す表現です。根拠とした論文では、distributed vector representations(分散ベクトル表現)やcontinuous word vectors(連続的な単語ベクトル)という言い方がされています。どちらも、単語をベクトルの形で表し、その値を学習によって求めるという考え方を示しています。

単語どうしの関係をとらえる表現

skip-gramモデルを扱った論文の要旨では、連続skip-gramモデルが、高品質な分散ベクトル表現を効率よく学習する方法として紹介されています。そこで学習される表現は、単語どうしの多数の精密な統語的(syntactic)関係と意味的(semantic)関係をとらえるものとされています。分散表現は、単語を互いに区別するだけでなく、単語と単語の関係をベクトルの中に保つことが期待される表現として位置づけられています。

言語モデルの土台としての分散表現

別の論文は、先行研究の流れとして、ニューラルネットワーク言語モデルを2段階で学習できることが見いだされたと述べています。第1段階では単純なモデルで連続的な単語ベクトルを学習し、第2段階ではその単語の分散表現の上にN-gramのニューラルネットワーク言語モデル(NNLM)を学習します。この論文で提案された新しいアーキテクチャは、この先行研究の方式を直接引き継ぐものとされています。ここから、分散表現は先に単独で学習しておき、別のモデルの土台として使える表現として扱われていることが読み取れます。

文脈の表現とbag-of-wordsとの対比

分散表現は、単語1つ1つを表すだけでなく、文脈を表す場面でも使われます。同じ論文はCBOWというモデルを説明する中で、標準的なbag-of-wordsモデルと違い、このモデルは文脈の連続的な分散表現(continuous distributed representation)を使うと述べています。CBOWという呼び名は、この標準的なbag-of-wordsモデルとの対比に基づいて付けられたものとして説明されています。文脈を連続的な分散表現で扱う点が、標準的なbag-of-wordsモデルとの違いとして示されているわけです。

理解を整理するための3つの観点

分散表現を学ぶ際には、次の3点を結び付けておくと整理しやすくなります。1つ目は、単語やその文脈を連続的なベクトルとして表すという表現の形です。2つ目は、連続skip-gramモデルが、統語的な関係と意味的な関係をとらえる高品質な分散表現を効率よく学習する方法として紹介されていることです。3つ目は、CBOWモデルの説明の中で、標準的なbag-of-wordsモデルと対比する形で、文脈の連続的な分散表現という語が使われていることです。