単語埋め込み

単語埋め込みとは、自然言語処理において単語を固定次元の数値ベクトルに変換する手法です。単語の意味や関係性をベクトルの空間的な配置として表現し、似た意味を持つ単語同士がベクトル空間上で近くに配置されるように学習されます。

この手法は、単語を単純なIDやバイナリ値として扱うのではなく、文脈情報を取り入れた連続的な値として表現するため、コンピュータが言語の意味的な近さを理解するのに役立ちます。従来の手法では単語数に比例して次元が爆発的に増加していましたが、この手法では次元を圧縮できるメリットがあります。

混同されやすい概念として、単語の頻度に基づくワンホットエンコーディングがあります。ワンホットエンコーディングは単語同士の意味的な距離を表現できませんが、単語埋め込みは意味の近さを捉えられる点が最大の違いです。G検定では、自然言語処理の進化の文脈で、テキストデータの前処理やベクトル化の効率的な手法として問われます。