LLMセキュリティ

LLMセキュリティ（LLM Security）とは、LLMを組み込んだアプリケーション・サービスを標的とした固有の攻撃手法を理解し、適切な防御策・脆弱性管理・インシデント対応を設計するセキュリティ分野です。OWASP（Open Worldwide Application Security Project）が2023年に「LLM Top 10」を公開し、LLM固有のリスクを体系化しました。

OWASP LLM Top 10の主要リスクとして、(1)プロンプトインジェクション：悪意ある指示をユーザー入力に埋め込み、モデルに意図しない動作をさせる（最重要リスク）、(2)インセキュアな出力処理：LLM出力をサニタイズせず直接実行しXSS・SQLインジェクションが発生、(3)訓練データポイズニング：学習データに悪意あるデータを混入してモデル挙動を操作、(4)モデルDoS：意図的に大量トークンを消費させてサービス不能にする、(5)過度な権限付与：エージェントに必要以上のツール・API権限を与えるリスクがあります。

防御のベストプラクティスとして、(1)入力バリデーション：ユーザー入力の長さ制限・禁止パターン検出、(2)最小権限の原則：エージェントに必要最低限のツール権限のみ付与、(3)出力サニタイゼーション：LLM出力をHTML/SQLに渡す前にエスケープ処理、(4)プロンプトインジェクション対策：信頼できる指示と外部入力を明確に分離、(5)レート制限とコスト上限の設定があります。

LLMセキュリティはWebアプリケーションセキュリティの知識を基礎としながら、AI固有のリスクモデルを追加した複合的な専門領域です。