Transformer（トランスフォーマー）

Transformer（トランスフォーマー）とは、2017年にGoogleの研究チームが論文「Attention Is All You Need」で発表したニューラルネットワークアーキテクチャです。それまでの系列モデル（RNN・LSTM）に代わり、注意機構（Attention Mechanism）だけで文章のトークン間の依存関係を並列処理する設計が革新的でした。

Transformerが重要な理由は、現代のほぼすべての大規模言語モデル（LLM）がTransformerをベースに構築されているためです。GPT、Claude、Gemini、LLaMAなど、主要なモデルはすべてTransformerアーキテクチャの発展型です。また画像生成モデル（Vision Transformer等）や音声処理への応用も進んでいます。

Transformerの中核技術である「Self-Attention（自己注意機構）」は、文章内のすべてのトークンが互いにどれだけ関係しているかを計算します。これにより「銀行（bank）」が「お金」の文脈で使われているか「川岸」の文脈かを区別するような、長距離の文脈理解が可能になります。

並列処理が可能なため、GPUを使った大規模な学習に適しており、モデルのスケールアップが容易になったことがLLMの急速な発展を支えました。Transformerは現代AIの「エンジン」とも言える存在です。