一文定義
RoPEとは、トランスフォーマーの位置情報をクエリ・キーベクトルの回転として表現する手法で、Llama・Mistral・Gemmaなど主要LLMに採用され、長文対応のコンテキスト拡張にも活用されます。
詳細解説
RoPE（Rotary Position Embedding：回転位置埋め込み）とは、トランスフォーマーモデルにおけるトークンの位置情報を、アテンション計算のクエリとキーベクトルを複素数平面上で回転させることで表現する手法です。
従来の絶対位置埋め込み（APE）や相対位置埋め込みと比較して、RoPEは相対位置情報を自然に捉えられる数学的性質を持ちます。任意の2つのトークン間の位置差（相対距離）が、ドット積計算において回転角度の差として自動的に反映される仕組みです。
RoPEの最大の特徴は、学習時より長いシーケンスへの外挿（コンテキスト拡張）との相性が良い点です。YaRN・LongRoPE・ABFなどの拡張手法と組み合わせることで、4K〜8Kトークンで学習したモデルを32K〜100K以上のコンテキスト長に拡張できます。LlamaシリーズはすべてRoPEを採用しており、Mistral・Gemma・Qwenなど主要オープンソースLLMのデファクトスタンダードとなっています。
参考情報・出典
- ▸RoFormer: Enhanced Transformer with Rotary Position Embedding— arXiv（参照日: 2026-02-26）
- ▸LLaMA 2 Technical Report— arXiv / Meta（参照日: 2026-02-26）
最終更新: 2026-02-26← 用語集一覧へ