AI安全性

AI安全性（AI Safety）とは、現在および将来の高度なAIシステムが人間の意図に沿って安全に動作し、意図しない有害な結果を生じさせないようにするための研究・工学的実践の分野です。短期的な安全性（現行システムのバイアス・悪用防止）から長期的な安全性（超高度AIの制御可能性）まで広範な問題を扱います。

AI安全性が重要な理由は、LLMをはじめとするAIシステムが実社会で広く使われるようになるにつれ、ハルシネーション・バイアス・プロンプトインジェクション・悪用リスクが現実の問題として顕在化し、さらに将来の高度AIシステムへの備えも必要とされているためです。Anthropicは「AI安全に焦点を当てた企業」として設立され、Constitutional AIやInterpretabilityなどの研究を主導しています。

主要な研究テーマとして、alignment（人間の意図との整合）、解釈可能性（モデル内部の理解）、ロバスト性（adversarial-attackへの耐性）、脱線防止（jailbreak・prompt-injection対策）、評価（harmful outputの検出）があります。red-teamingはAI安全性の実践的手法として各社のモデル開発プロセスに組み込まれています。OpenAI Safety Team、DeepMind Safety、Anthropic Safety Researchなどが主要な研究機関です。