一文定義
LoRAとは、大規模モデルの重みを直接更新せず、追加した低ランク行列のみを学習することで、少ないメモリ・コストでファインチューニングを実現する手法です。
詳細解説
LoRA（Low-Rank Adaptation：低ランク適応）とは、事前学習済みモデルの重み行列を凍結（固定）したうえで、各行列に小さな低ランク行列のペア（A・B）を追加し、そのA・Bのみを学習するパラメータ効率的なファインチューニング手法です。2021年にMicrosoftの研究チームが提案しました。
なぜLoRAが広く使われるかというと、LLMのフルファインチューニングは数百GBのVRAMを必要とする一方、LoRAは学習するパラメータを大幅に削減（1%以下）するため、一般的なGPU（24GB以下）でも実用的なファインチューニングが可能になるためです。
また、学習済みのLoRAアダプターを交換することで、同じベースモデルに複数のLoRAを切り替えて使うことができます。QLoRA（量子化＋LoRA）と組み合わせるとさらに消費メモリを削減できます。オープンソースモデル（LLaMAなど）のカスタマイズで特に普及しています。
参考情報・出典
- ▸LoRA: Low-Rank Adaptation of Large Language Models— arXiv / Microsoft（参照日: 2026-02-25）
- ▸LoRA - Hugging Face Documentation— Hugging Face（参照日: 2026-02-25）
最終更新: 2026-02-25← 用語集一覧へ