プレフィックスチューニング

プレフィックスチューニング（Prefix-Tuning）とは、事前学習済みLLMのパラメータを凍結したまま、各トランスフォーマー層の先頭に「学習可能な連続ベクトル（プレフィックス）」を追加し、タスク固有の適応を行うパラメータ効率的ファインチューニング（PEFT）手法です。2021年にStanfordのXiang Lisa Li・Percy Liangが提案しました。

**通常のファインチューニングとの比較：**

| 手法 | 更新パラメータ | モデルコピー | 推論コスト | |------|--------------|-----------|----------| | フルファインチューニング | 全パラメータ（100%） | タスク毎に必要 | 通常 | | プレフィックスチューニング | プレフィックスのみ（0.1%程度） | 共有 | プレフィックス長分増加 | | LoRA | 低ランク行列（0.1〜1%） | 共有 | ほぼ変わらず |

**仕組み：** 各トランスフォーマー層のアテンション計算時に、実際の入力トークン系列の前に「仮想トークン」（プレフィックス）を付加します。このプレフィックスのベクトル値のみを学習し、モデル本体は変更しません。

``` 通常：[入力トークン列] → トランスフォーマー層 → 出力 プレフィックスチューニング：[プレフィックスベクトル] + [入力トークン列] → 同じ層 → 出力 ```

**PromptチューニングとLoRAとの違い：** - **ソフトプロンプト（Prompt Tuning）**：入力層のみにプレフィックス。最もシンプル - **プレフィックスチューニング**：全層にプレフィックスを追加。より高い表現力 - **LoRA**：重み行列に低ランク分解行列を追加。現在最も主流なPEFT手法

**現在の位置づけ：** LoRAの登場（2022年）以降、実用面ではLoRAが主流となりましたが、プレフィックスチューニングはPEFTの理論的理解において重要な位置を占めており、さまざまなPEFT手法の比較研究で基準手法として引用されます。