せるふあてんしょん
Self-Attention
一つの文章の中での単語同士の関係性を計算するAttentionの一種です。各単語が他のすべての単語とどう関係するかを計算し、文脈を考慮した単語の表現を獲得できます。
詳しい説明
Attentionの一種で、一つの文章の中での単語同士の関係性を計算する手法です。文中の各単語が、他のすべての単語とどのような関係にあるかをAttentionを用いて計算します。これにより、文脈を考慮した単語の表現を獲得でき、Transformerの核となっています。
試験で問われること
G検定（ジェネラリスト検定）
- 文章内の単語同士の関連度を計算する手法として問われます。
- Transformerにおいて不可欠な技術です。