Attention と Transformer：注目のしくみが世界を変えた

今の大規模な言語モデルの土台になった、注目のしくみを学びます。基礎層では、関連する部分に注目する Attention と、それだけで作った Transformer のしくみをつかみます。深掘り層では、Seq2Seq の限界、クエリ・キー・バリューによる Attention の計算、Self-Attention と Source-Target Attention、Multi-Head Attention、位置エンコーディング、Transformer の全体像までを数式も交えて説明できるようになります。