一文定義
PEFTとは、モデルの全パラメータを更新せず一部のみを調整して効率的にfine-tuningする手法群（Parameter-Efficient Fine-Tuning）です。LoRA・Adapter・Prefix Tuningが代表例で、少ないGPUリソースで大規模モデルを適応できます。
詳細解説
PEFT（Parameter-Efficient Fine-Tuning）とは、数十億〜数千億のパラメータを持つ大規模言語モデルを、全パラメータを更新するのではなく、追加する少数のパラメータまたは一部のパラメータだけを調整することで、計算・メモリコストを大幅に削減しながらfine-tuningする手法群の総称です。
PEFTが重要な理由は、フルfine-tuningには膨大なGPU・メモリ・時間が必要であり、中小企業や研究者が大規模モデルを自分のユースケースに適応させる際の主要なボトルネックとなっているためです。PEFTを使えば、コンシューマーグレードのGPU1枚で70BクラスのLLMをfine-tuningすることも可能になります。
代表的なPEFT手法として、LoRA（低ランク行列分解で差分重みを学習）、Adapter（各Transformer層に小さなアダプタ層を挿入）、Prefix Tuning（入力の先頭に学習可能なプレフィックスを付加）、Prompt Tuning（ソフトプロンプトを学習）、IA3（スケーリングベクトルのみ追加）などがあります。Hugging Face PEFTライブラリがこれらの実装を統一的に提供しており、quantizationと組み合わせたQLoRAは特に普及しています。
参考情報・出典
- ▸LoRA: Low-Rank Adaptation of Large Language Models— arXiv / Hu et al. (2022)（参照日: 2026-02-26）
- ▸Hugging Face PEFT Library— Hugging Face（参照日: 2026-02-26）
最終更新: 2026-02-26← 用語集一覧へ