AIレッドチーム

AIレッドチーム（AI Red Team）とは、サイバーセキュリティの「レッドチーム」手法をAI安全性評価に応用した取り組みです。悪意ある攻撃者の視点でAIシステムを積極的にテストし、リリース前に問題を発見・修正することを目的とします。

主な評価対象： - **ジェイルブレイク**：安全ガイドラインを迂回する手法の探索 - **有害コンテンツ生成**：差別・暴力・危険情報の引き出し可否 - **プロンプトインジェクション**：外部入力によるシステムプロンプトの上書き - **幻覚の誘発**：意図的に誤情報を生成させる手法 - **プライバシー漏洩**：学習データに含まれる個人情報の抽出

Anthropicはモデルの公開前に外部研究者・セキュリティ専門家・ドメイン専門家（生物兵器・サイバー等）を招いてレッドチーミングを実施し、その結果をシステムカードとして公開しています。OpenAIも同様の取り組みを行っており、GPT-4のシステムカードにはレッドチームの詳細な知見が記載されています。

2024年には米国政府のAI安全性機関（AISI）や欧州の規制機関もレッドチーミングを正式な安全評価手順として義務化・推奨する動きが加速しています。