Attention

Attention（注意機構）は、入力データの中でどこに注目すべきかを判断し、重要な部分に重みを割り当てる仕組みのことです。自然言語処理において、長い文章の中で関連する単語同士の関係性を捉えるために開発されました。

それまでのRNN（リカレントニューラルネットワーク）では、長い文章になると文頭の情報を忘れやすいという課題がありましたが、Attentionは文中のすべての単語の関係を直接参照できるため、この問題を解決しました。現在ではTransformerというモデルの核となっており、現代のAIの性能を支える基盤技術です。

G検定では、RNNの進化系やTransformerの仕組みの一部として出題されます。文章の意味を理解する際に、どの単語がどの単語と結びついているかを動的に計算する仕組みであるという本質を理解しておくことが重要です。