プロンプト感度

プロンプト感度（Prompt Sensitivity）とは、入力プロンプトにわずかな変更を加えた際にLLMの出力が大きく変化してしまう現象・性質です。同じ意図の質問であっても、語順・句読点・文字数・Few-shotの例示順序・指示の表現方法が変わるだけで、モデルの回答内容・品質・スタイルが劇的に異なることがあります。

プロンプト感度が問題となる理由： **本番システムの不安定性**：ユーザーが微妙に異なるプロンプトを入力するたびに異なる品質の回答が返ってくると、サービス品質の保証が困難になります。 **評価の困難さ**：ベンチマークの結果がプロンプト設計に大きく依存するため、モデル比較が難しくなります。 **再現性の欠如**：開発・本番環境でプロンプトが微妙に異なると、開発時の動作が本番で再現されない場合があります。

対策として、プロンプトテンプレートの標準化・複数のプロンプトバリアントでの評価（プロンプトアンサンブル）・System Promptによる挙動の固定化などが有効です。LLMOpsの観点では、本番プロンプトのバージョン管理と定期的な感度テストが品質管理の重要プロセスです。モデルが大型化・高性能化するにつれてプロンプト感度は低減する傾向がありますが、完全にはなくなっていません。