まるちへっどあてんしょん
Multi-Head Attention
Attentionを複数並列で行う仕組みです。単一では1つの視点しか持てませんが、文法関係や意味の類似度といった異なる側面からの注目を同時に行え、文脈を多角的に解釈できます。
詳しい説明
Attentionを複数並列で行う仕組みです。単一のAttentionでは1つの視点しか持てませんが、Multi-Headにすることで、例えば「文法関係」「意味の類似度」といった異なる側面からの注目を同時に行えます。これにより、文脈のより多角的な解釈が可能になります。
試験で問われること
G検定（ジェネラリスト検定）
- 複数のAttentionを並列で行う効果が問われます。
- Transformerの性能の高さの理由として重要です。