アテンションメカニズム

アテンションメカニズム（Attention Mechanism）とは、ニューラルネットワークが入力データの各部分に対して「どこに注目するか」を動的に重み付けする仕組みです。2017年のVaswani et al.による論文「Attention Is All You Need」でSelf-Attentionが提案され、トランスフォーマーアーキテクチャの中核技術となりました。

仕組みを簡単に説明すると、入力トークンそれぞれが「クエリ（Q）」「キー（K）」「バリュー（V）」の3つのベクトルに変換され、QとKの類似度でアテンションスコア（重み）を計算します。このスコアに基づいてVを加重和することで、文脈に応じた表現を生成します。「自己注意（Self-Attention）」は同じ文内のトークン間の関係を捉え、「マルチヘッドアテンション」は複数の視点から並列に注目することで表現力を高めます。

アテンションメカニズムが重要な理由は、従来のRNNが苦手だった長距離依存関係（文の前後で意味が繋がる部分）を効率的に処理できる点です。これにより、LLMは長い文章でも文脈を保持した生成が可能になりました。現在のGPT・Claude・Geminiなど主要LLMはすべてアテンションメカニズムを基盤としています。