CBOW

CBOWとは、周辺にある単語の情報から、中心に位置する単語を予測することで、単語の分散表現を学習する手法です。Word2Vecというアルゴリズムの中で提案された2つの主要な手法のうちの1つであり、自然言語処理の基礎を支えています。

具体的な学習の仕組みとしては、入力層に周辺単語のベクトルを与え、それらを平均化して隠れ層へ伝えます。そこから出力層で中心単語を推論するように重みを更新していきます。この過程で得られる重み行列が、各単語の意味的な近さを反映したベクトル表現として利用されます。計算効率が良い点が最大の特徴です。

G検定では、Skip-gramとの対比が頻出です。Skip-gramは「中心単語から周辺単語を予測する」のに対し、CBOWは「周辺単語から中心単語を予測する」という方向性の違いが問われます。また、Word2Vecという大きな枠組みの中で、この手法が単語をベクトルに変換して数値として扱えるようにするための手法であるという文脈で記憶します。