アテンションマップ

アテンションマップ（Attention Map）とは、Transformerモデルの自己注意機構（Self-Attention）において、各トークンが他のどのトークンに対してどれだけ「注意を向けているか」を2次元の熱マップ（ヒートマップ）として可視化したものです。モデルの内部動作を人間が理解しやすい形式で表現します。

アテンションマップの読み方： 行と列それぞれが入力トークン（単語）に対応し、セルの色の濃さがアテンションウェイトの大きさを表します。行のトークンが列のトークンにどれだけ注目しているかを示します。

活用場面： **モデル解釈可能性**：モデルがどの入力部分に基づいて予測しているかを可視化し、判断根拠の理解に役立てます。 **デバッグ**：モデルが期待通りの箇所に注目していない場合、アテンションパターンから問題の手がかりを得られます。 **エラー分析**：誤った予測が発生した際、アテンションマップで何が起きたかを診断します。 **研究**：言語構造（構文・照応関係等）がアテンションパターンと対応するか検証する言語学的研究に使われます。

可視化ツール： **BertViz**：BERTやGPTのマルチヘッドアテンションを対話的に可視化するライブラリです。 **Captum**：PyTorchベースのモデル解釈可能性ライブラリで、アテンション可視化を含む多様な分析を提供します。 **Transformer Explainability**：アテンションとグラジェント情報を組み合わせた高精度な帰属分析を行います。

重要な注意点として、アテンション重みが高いからといって必ずしもそのトークンが予測に重要というわけではなく（「Attention is not Explanation」論争）、アテンションマップはあくまでモデル内部の一側面に過ぎません。機械論的解釈可能性（Mechanistic Interpretability）研究では、アテンションパターンより回路（circuit）レベルの分析が重要視される傾向があります。