単語埋め込み

単語埋め込みとは何か

単語埋め込み(word embedding)は、単語の意味をベクトルで表したものです。この表現は人の手で決めるものではありません。テキストの中で単語がどのように分布しているか、つまりどのような文脈に現れるかから、直接学習されます。この点が大きな特徴です。埋め込みは、大規模言語モデルをはじめとする現代の応用の中心にあるとされています。

埋め込み(embedding)という語は、歴史的には数学での意味、つまり写像(mapping)に由来します。また、埋め込みとその意味を研究する言語学の分野は、ベクトル意味論(vector semantics)と呼ばれます。

土台にある分布仮説

単語埋め込みの土台には、分布仮説(distributional hypothesis)という考え方があります。似た文脈に現れる単語は、似た意味を持つ傾向があるという考え方です。単語の分布が似ていることと、単語の意味が似ていることの結びつきを、分布仮説と呼びます。

この仮説は、1950年代に言語学者によって定式化されました。言語学者たちは、oculistとeye-doctor(どちらも眼科医を指す語)のような同義語が、eyeやexaminedといった語の近くなど、同じ環境に現れやすいことに気づきました。さらに、2つの単語の意味の違いの大きさは、それぞれが現れる環境の違いの大きさにおおよそ対応するとされました。単語埋め込みは、テキスト中の単語の分布から意味のベクトル表現を学習するもので、この文脈と意味の結びつきを土台にしています。

文字列やインデックスとしての表現との違い

n-gramモデルや古典的な自然言語処理の応用では、単語を表す方法は、文字の並びとしての文字列か、語彙リストの中のインデックスのどちらかだけでした。

これに対して単語埋め込みは、単語の意味をベクトルとして表します。しかもその表現は、テキスト中の単語の分布から直接学習されます。単語を文字列や番号としてだけ扱う表現とは、この2点が異なります。

表現学習の最初の例として

単語埋め込みは、表現学習(representation learning)の最初の例として位置づけられています。表現学習とは、入力テキストの有用な表現を自動的に学習することです。

特徴エンジニアリング(feature engineering)によって人の手で表現を作るのではなく、自己教師ありの方法で言語の表現を学習する手段を見つけることは、現代の自然言語処理の重要な原則とされています。単語埋め込みは、人の手による特徴設計に頼らず、データから有用な表現を得る考え方を示す最初の例です。

静的な埋め込みと文脈化された埋め込み

ここで説明した単語埋め込みは、静的な埋め込み(static embeddings)と呼ばれるものです。静的な埋め込みは、BERTのような、より強力な動的な埋め込み、つまり文脈化された埋め込み(contextualized embeddings)の土台になっています。単語埋め込みを理解することは、後に登場するこうした埋め込みを理解するうえでも出発点になります。