状態空間モデル（SSM）

状態空間モデル（State Space Model、SSM）とは、信号処理・制御理論に起源を持つ数学的フレームワークで、入力系列から状態変数を介して出力系列を生成するモデルです。深層学習文脈では、Transformerの2乗計算量問題を解決する代替アーキテクチャとして2020年代に再注目されました。

SSMが重要な理由は、Transformerのself-attentionはシーケンス長の2乗に比例する計算量が必要であるのに対し、SSMは線形の計算量で系列を処理できるためです。これにより非常に長い系列（数万〜数十万トークン）の処理でTransformerより効率的になる可能性があります。

代表的なSSMアーキテクチャとして、S4（Structured State Spaces for Sequences）・Mamba（2023年、Gu & Dao、入力依存の選択的ゲーティングで精度を向上）があります。特にMambaは言語モデリングでTransformerに匹敵する性能を示し、「Mamba-2」やTransformerとの組み合わせ（Jamba：Mamba+Transformer）など様々な発展型が登場しています。現時点ではLLMの主流はTransformerですが、long-context処理・音声・生物配列など特定ドメインでSSMが活用されており、Transformer代替としての研究が続いています。