発展：状態空間モデルと Mamba（長い系列への別解）

回帰結合層のレッスンの続きとして、長い系列を効率よく扱うために近年注目される状態空間モデルと Mamba を掘り下げます。回帰結合の速さと Transformer の見通しの良さという、それぞれの得手不得手をおさらいし、状態に情報をたたみ込みながら進む状態空間モデルの考え方、学習は並列に推論は順ぐりにという二つの顔、入力に応じて記憶を選ぶ Mamba、そして両者を組み合わせるハイブリッドまでを実装のコードは扱わず、なぜ別解が要るのかに絞って説明します。