ハルシネーション検出

ハルシネーション検出（AI Hallucination Detection）とは、LLMが生成したテキストに含まれる事実誤認・根拠のない主張・矛盾を自動的に識別・スコアリングする技術と手法の総称です。RAGシステムや高精度が求められるビジネス用途において、品質保証の要として重要性が増しています。

主なアプローチとして、(1)グラウンディング検証（生成文を出典文書と照合し根拠のない記述を検出）、(2)LLM-as-Judge（別のLLMが事実性・一貫性・忠実性を採点）、(3)確信度スコアリング（モデルのログ確率やトークン確率を用いた不確実性推定）、(4)外部知識ベース照合（WikidataなどのKGと突き合わせ検証）があります。

ツールとしてはTruLens（RAGas評価ライブラリ）、Galileo（本番モニタリング）、Ragas（RAG評価フレームワーク）、FACTSCORE（Wikipedia事実性評価）などが利用されています。評価指標には忠実性（Faithfulness）・回答関連性（Answer Relevancy）・コンテキスト精度（Context Precision）が広く使われています。

検出後の対策として、不確実な回答には「確認が取れていません」などの免責表示を付加するConfidence Calibration、または再検索・再生成をトリガーするフォールバック設計が有効です。