インストラクションチューニング

インストラクションチューニング（Instruction Tuning）とは、事前学習済みのLLMを「指示（instruction）→出力（response）」の形式で作成されたデータセットで微調整し、ユーザーの指示に従って適切な回答を生成できるようにする手法です。SFT（Supervised Fine-Tuning：教師あり微調整）の一形態です。

なぜインストラクションチューニングが必要かというと、事前学習だけのモデルは「次のトークンを予測する」ことに最適化されており、人間の指示に従って有用な回答を返すようには設計されていないためです。例えば「フランスの首都は？」という質問に対して、事前学習モデルは「フランスの首都は？ドイツの首都は？…」のようにパターンを続けようとするかもしれません。インストラクションチューニングによって「質問→答える」という振る舞いを学習させます。

有名な研究としてGoogleのFLAN（Finetuned Language Models Are Zero-Shot Learners）があり、多様なタスクでインストラクションチューニングを行うことで、未学習のタスクでも高い汎化性能（ゼロショット能力）が得られることが示されました。ChatGPTをはじめとする現代の対話型AIは、インストラクションチューニングとRLHFを組み合わせることで実用的なアシスタントとして動作しています。