ELMo

ELMoは、文脈に応じて単語のベクトル表現を動的に変化させる手法であり、自然言語処理の進化における重要なマイルストーンです。固定されたベクトルを割り当てる従来のWord2Vec等とは異なり、文脈を考慮した双方向の学習を行うことで、多義語の処理を可能にしました。

双方向のLSTMを使用して、単語の前の文脈と後ろの文脈の両方を考慮して埋め込みを生成します。これにより、例えば銀行という言葉が、金融機関を指すのか川岸を指すのかを文脈から判別し、異なるベクトルとして表現することができます。

G検定では、BERTが登場する前の重要な文脈化単語埋め込み手法として出題されます。Transformer以前のRNNベースの技術として位置づけ、文脈を捉える能力がなぜ重要なのか、その後の発展系であるTransformerへのつながりを意識しておくことがポイントです。