メカニスティック解釈可能性

メカニスティック解釈可能性（Mechanistic Interpretability）とは、ニューラルネットワーク、特にトランスフォーマー系LLMの内部動作を、アルゴリズムやコンポーネントのレベルまで分解・解明しようとする研究分野です。「モデルが何を学んだのか」を人間が理解できる形で説明することを目指します。

**中心的な概念：**

**1. 回路（Circuits）** ニューラルネットワーク内の、特定のタスクを実現するニューロンと重みの経路。Chris Olahらの研究で、画像認識モデルにおいて曲線検出・パターン合成が回路として実装されていることが示されました。

**2. 特徴（Features）** 個々のニューロンや方向が表現する概念・意味。スーパーポジション仮説：1つのニューロンが複数の特徴を同時に表現することがあり、解析を複雑にします。スパース自己符号化器（Sparse Autoencoder）でこれを分解する手法が研究されています。

**3. 注意パターン（Attention Patterns）** トランスフォーマーのアテンションヘッドがどのトークン間の関係を学習しているかを可視化・分類する研究。

**主な研究機関と成果：** - **Anthropic**：「Towards Monosemanticity」（2023年）でスパース自己符号化器を用いた特徴分解 - **DeepMind**：大規模モデルへの適用研究 - **EleutherAI**：オープンソースモデルを対象とした解析

**AI安全性との関係：** モデルの内部を理解することで、有害な信念・バイアスを直接検出・修正できる可能性があり、アライメント研究の重要な柱となっています。ブラックボックスな評価から「透明な理解」へのパラダイム転換を目指す分野です。