Guardrails AI

Guardrails AIとは、LLMが生成した出力を検証・フィルタリング・修正するためのPythonフレームワークです。LLMの出力が特定のフォーマット・品質・安全基準を満たさない場合に、自動再試行・修正・フォールバック処理を行う「ガードレール（安全柵）」をプログラマブルに定義できます。

コア概念として、(1)Validators（バリデーター）：個々の検証ルールをカプセル化したモジュール。LLMの出力テキストやフィールドに対して特定の条件（長さ・フォーマット・内容）を検証し、合格・失敗・修正のアクションを定義します。Guardrails Hubで100以上のプリビルトバリデーターが公開されている、(2)Guard（ガード）：バリデーターの組み合わせを定義するコンテナ。Pydanticモデルに基づくスキーマ検証・カスタムバリデーター・自然言語ルールをまとめて管理し、LLM呼び出しをラップして自動検証を実施、(3)Rail Spec（レール仕様）：XMLまたはPydanticで出力スキーマとバリデーションルールを宣言的に定義するフォーマット。LLMへのプロンプトとパーサーを自動生成があります。

代表的なバリデーターとして、(1)競合他社言及のフィルタリング（特定企業名の除外）、(2)PII（個人識別情報）検出・マスキング（メールアドレス・電話番号・クレジットカード番号等）、(3)有害コンテンツ検出（ヘイトスピーチ・暴力表現）、(4)SQLインジェクション・プロンプトインジェクション検出、(5)JSON・XMLスキーマ準拠の検証・修正があります。

On-failアクションとして、バリデーション失敗時のアクションとして「noop（スキップ）」「exception（例外発生）」「fix（自動修正）」「reask（LLMへの再質問）」「filter（フィールド削除）」「refrain（全体削除）」から選択でき、柔軟なエラーハンドリングを実現します。