発展：状態空間モデルと Mamba（長い系列への別解）

ねらい

このレッスンは、回帰結合層のレッスンの続きにあたる発展（はってん）の記事です。長い系列をどう扱うかは、いまも活発に研究されているテーマです。Transformer が主流になった一方で、その弱点をつく別解として、状態空間モデル（じょうたいくうかんモデル、State Space Model）や、その代表である Mamba（マンバ）が注目されています。ここでは、その考え方を見ます。

この記事は、ある程度の知識のある人に向けた深掘りです。回帰結合層のレッスンで学んだリカレントニューラルネットワークと、次の Attention と Transformer のレッスンで学ぶ自己注意を前提にします。自己注意は次のレッスンで扱うので、先にそちらを読んでから戻ると読みやすくなります。実装のコードは扱いません。なぜ、Transformer があるのに別解が要るのか、という考え方に絞ります。

1. 状態空間モデルの考え方：状態に情報をたたみ込む

状態空間モデルは、もともと制御や信号処理の分野で使われてきた、系列のとらえ方です。考え方の芯は、回帰結合とよく似ています。

その芯は、状態（じょうたい）を持ち運ぶことです。ある時点までの情報を状態と呼ぶひとまとまりの数のかたまりにためておきます。新しい入力が来るたびに、今の状態と新しい入力から、次の状態を作ります。そして、その状態から、その時点の出力を取り出します。時点が進むごとに、状態が更新され、そこに過去の情報がたたみ込まれていきます。過去をすべて見直すのではなく、状態という要約を持ち運ぶ。ここは、回帰結合と同じ発想です。

回帰結合と違うのは、状態の更新の仕方を素直で見通しのよい形に整えている点です。更新のしくみを扱いやすい規則的な形にすることで、次の節で見るように、学習のときと推論のときで、2つの姿を使い分けられるようになります。ここでは、状態空間モデルは、状態という要約に過去をたたみ込みながら系列を進む、と押さえてください。

理解の確認

状態空間モデルは、ある時点までの情報を状態というかたまりにため、新しい入力ごとに今の状態から次の状態を作り、状態から出力を取り出します。過去の要約を持ち運ぶ点は回帰結合と同じですが、更新のしくみを見通しのよい形に整えている点が異なります。

2. 二つの顔：学習は並列に、推論は順ぐりに

状態空間モデルの、いちばんうまい点は、同じしくみを2つの姿で使い分けられることです。この使い分けが、回帰結合と自己注意の良いとこ取りにつながります。

学習のときは、系列全体が、はじめから手元にあります。状態空間モデルは、更新のしくみが規則的なため、系列全体をまとめて、並べて計算できる姿に組み替えられます。回帰結合のように1歩ずつ待つ必要がなく、Transformer のように並べて学習を進められます。学習を速くできる、という自己注意の利点をここで得られます。

推論のとき、つまり実際に系列を作ったり読んだりするときは、1つずつ順ぐりに進む姿を使います。状態を持ち運びながら、1歩ずつ状態を更新して出力を出す。この姿なら、系列がどれだけ長くなっても、1歩あたりの重さは変わりません。長い系列に軽く対応できる、という回帰結合の利点をここで得られます。

つまり、学習では並列に速く、推論では順ぐりに軽く。1つのしくみが、場面に応じて2つの顔を使い分けます。自己注意が長い系列で重くなる弱点を避けつつ、学習の速さは保つ。これが、状態空間モデルが長い系列の別解として注目される理由です。

理解の確認

状態空間モデルは、学習のときは系列全体を並べて計算する姿を使い（Transformer のように速い）、推論のときは1歩ずつ状態を更新する姿を使います（回帰結合のように系列が長くても軽い）。1つのしくみが2つの顔を使い分けることで、長い系列に効率よく対応します。

3. 入力に応じて記憶を選ぶ：Mamba

素朴な状態空間モデルには、弱点がありました。状態の更新の仕方が、入力の中身によらず、いつも同じだったことです。どんな入力が来ても、同じ調子で状態にたたみ込むため、大事な情報と、どうでもよい情報を区別して覚えられませんでした。

この弱点を補ったのが、Mamba（マンバ）です。Mamba の工夫は、状態の更新の仕方を入力の中身に応じて変えられるようにしたことです。大事な入力が来たら、しっかり状態に取り込み、どうでもよい入力は、あまり取り込まずに読み流す。何を覚え、何を忘れるかを入力を見て選べるようにしたのです。この、入力に応じて選ぶ性質から、選択的な状態空間モデル、とも呼ばれます。

この工夫で、Mamba は、長い系列の中の大事なところを覚えつつ、状態空間モデルの効率、つまり長い系列への軽さと、学習の速さを保ちました。回帰結合のゲート機構が、何を通し何を止めるかを調整していたのを思い出してください。Mamba の選ぶしくみは、その発想を状態空間モデルの上で現代的に作り直したもの、と見ることもできます。

理解の確認

素朴な状態空間モデルは、入力の中身によらず同じ調子で状態を更新するため、大事な情報とそうでない情報を区別しにくい弱点がありました。Mamba は、状態の更新の仕方を入力に応じて変え、何を覚え何を忘れるかを選べるようにして、この弱点を補いつつ効率を保ちました。

4. どちらかではなく、組み合わせる：ハイブリッド

状態空間モデルと Transformer は、どちらかが一方的に優れている、という関係ではありません。それぞれに得意があります。

自己注意は、系列のどことどこでも、直接に関係を見られます。離れた2つの単語の細かい対応を正確にとらえるのが得意です。一方、状態空間モデルは、状態という要約を持ち運ぶため、とても長い系列を効率よく流すのが得意ですが、遠くの細かい対応は、要約を通すぶん、自己注意ほど正確ではないことがあります。

そこで、両方を組み合わせる作りも研究されています。層のあるところには自己注意を別のところには状態空間モデルを置く、といった具合です。こうした組み合わせをハイブリッドと呼びます。長い系列を効率よく流しつつ、大事なところは自己注意で正確にとらえる。それぞれの得意を持ち寄る、という考え方です。2026年時点では、こうしたハイブリッドの構成をとるモデルも現れています。ここでは、状態空間モデルと自己注意は、置きかえ合うだけでなく、組み合わせても使える、と押さえてください。

理解度の確認