一文定義
アダプターチューニングとは、トランスフォーマーの各層に小さなアダプターモジュールを挿入し、元のパラメータを固定したまま新タスクに適応させるPEFT手法で、LoRAと並ぶパラメータ効率的な転移学習技術です。
詳細解説
アダプターチューニング（Adapter Tuning）とは、事前学習済みトランスフォーマーの各層に小さなボトルネック構造のモジュール（アダプター）を挿入し、元のモデルパラメータを完全に固定したまま新しいタスクに特化させるファインチューニング手法です。
アダプターモジュールは、入力次元を小さな次元に圧縮する「ダウン射影」、非線形活性化、元の次元に戻す「アップ射影」という3層構造で、パラメータ数は元のモデルの数%程度です。Housley et al. (2019) が提案し、BERT時代のNLPタスク適応で広く採用されました。
LoRAとの違いは、アダプターは新しい層を挿入するのに対し、LoRAは既存の重み行列の更新を低ランク行列の積で近似する点です。アダプターチューニングは各タスク専用のアダプターを差し替えることで、1つのベースモデルから複数タスクを効率的にサービングできる利点があります。
実用面では、Hugging Face PEFTライブラリがアダプターチューニングをサポートしており、医療・法律・製造など特定ドメインへのLLM適応に利用されています。フルファインチューニングと比べストレージコストと計算コストを大幅に削減できます。
参考情報・出典
- ▸Parameter-Efficient Transfer Learning for NLP— arXiv / Houlsby et al.（参照日: 2026-02-26）
- ▸PEFT: State-of-the-art Parameter-Efficient Fine-Tuning— Hugging Face（参照日: 2026-02-26）
最終更新: 2026-02-26← 用語集一覧へ