AIオブザーバビリティ

AIオブザーバビリティ（AI Observability）とは、本番環境で稼働するLLMベースのアプリケーション（チャットボット・RAGシステム・エージェント等）の動作を可視化し、品質問題の検出・根本原因分析・継続的改善を支援する実践・ツール群です。ソフトウェアエンジニアリングの「オブザーバビリティ（可観測性）」の概念をLLMシステムに特化させたものです。

AIオブザーバビリティが重要な理由は、LLMシステムはブラックボックス的な挙動をするため、「なぜこの回答が悪かったのか」「どのプロンプトが問題か」「どのユーザーで失敗しているか」を把握するには専用の可視化が必要だからです。retrieval精度の低下・hallucination率の増加・レイテンシの劣化などを早期に検知することが運用品質の維持に不可欠です。

主な観測対象として、LLMへの入出力トレース（プロンプト・レスポンス・使用トークン数）、RAGの検索精度（取得文書の関連度）、エージェントの実行ステップとツール使用、エラー率・遅延・コスト（llmops指標）などがあります。LangSmith（LangChain公式）、Langfuse（オープンソース）、Phoenix（Arize AI、オープンソース）、Weights & Biases Tracesが主要ツールです。evaluation-metricsとの統合で自動品質評価パイプラインも構築できます。