回帰結合層:順番のあるデータを扱う
文章や音声のような、順番のあるデータを扱うしくみを学びます。基礎層では、前の状態を覚えて次に引き継ぐ回帰結合層と、リカレントニューラルネットワーク (RNN) のしくみをつかみます。深掘り層では、時系列データ、BPTT による学習、長い系列でつまずく理由、ゲート機構による LSTM と GRU、双方向 RNN、エルマンネットワークとジョルダンネットワーク、教師強制まで説明できるようになります。
この章の問題を解く
章のまとめへ- 1Self-Attention の計算のしくみPro
- 2Transformer の構造の特徴Pro
- 3AttentionとはPro
- 4自己注意とマルチヘッド注意Pro
- 5事例からTransformerの利点を判断するPro