SFT（教師ありファインチューニング）

SFT（Supervised Fine-Tuning：教師ありファインチューニング）とは、人間のアノテーターが作成した「プロンプト（指示）→高品質な回答」のペアからなるデータセットを用いて、事前学習済みのLLMをファインチューニングする手法です。

なぜSFTが使われるかというと、事前学習だけのモデルは「次のトークン予測」を学んでおり、人間の指示に従う能力が不十分なためです。SFTにより、モデルは「どのような形式・スタイルで答えるべきか」を学習します。

RLHFのパイプラインでは、SFTが最初のステップとして位置づけられます。SFTで基本的な指示追従能力を付与した後、人間の比較評価データで報酬モデルを学習し、最後にRLHFで整合性を高める流れが一般的です。また、SFTのみで高品質なモデルを作る場合（e.g. LLaMAのファインチューニング）にも利用されます。