Promptfoo

Promptfooとは、LLMプロンプト・モデル・設定の品質を自動テスト・評価するためのオープンソースCLIツールおよびライブラリです。ソフトウェア開発における単体テスト・回帰テストの概念をLLM開発に持ち込み、プロンプト変更による品質劣化を早期発見する仕組みを提供します。CI/CDパイプラインへの統合が容易で、「AIのためのJest/PyTest」とも呼ばれます。

主要機能として、(1)プロンプト比較テスト：同一テストケースセットを複数のプロンプトバリアント・複数のモデル（OpenAI・Anthropic・Gemini・Ollama等）で並列実行し、スコアを横断比較するビジュアルな比較レポートを生成、(2)アサーション（Assertions）：期待する出力条件をYAMLで宣言的に定義。contains（文字列含有）・not-contains・regex（正規表現）・is-json（JSON検証）・llm-rubric（LLMによる評価）・model-graded-closedqa等多様なアサーションタイプを提供、(3)セキュリティテスト（Red Teaming）：プロンプトインジェクション・脱獄（Jailbreak）・プロンプトリーク・有害コンテンツ生成への耐性を自動テストするred teamingモジュールを内蔵、(4)CI/CD統合：GitHub Actions・GitLab CI等でpromptfoo evalコマンドを実行し、品質ゲートとして機能させることで、プロンプトのプルリクエストに自動評価結果をコメント追加、(5)評価データセット管理：CSVまたはYAML形式のテストケースセットをバージョン管理し、時系列での品質推移を追跡があります。

設定方式として、promptfooconfig.yaml（またはJSON）にプロバイダー・プロンプト・テストケース・評価基準を記述するだけで動作するため、コーディングなしでも利用可能です。シェルコマンドで任意の外部プロセス（Pythonスクリプト等）をプロバイダーとして登録できる柔軟性も持ちます。