説明可能性（XAI）

説明可能性（Explainability）とは、機械学習モデルが特定の入力に対してある出力を生成した理由や根拠を、人間が理解できる形で説明する能力・技術・手法の総称です。XAI（Explainable AI）とも呼ばれます。DARPA（米国防高等研究計画局）が2017年にXAIプログラムを立ち上げたことで研究が加速しました。

説明可能性が重要な理由は、ブラックボックスとして機能する深層学習モデルの判断根拠が不透明であることが、医療診断・融資審査・刑事司法など人の権利に影響する意思決定へのAI活用で大きなリスクとなるためです。EU AI Actでは高リスクAIへの説明責任・透明性要件が義務化されており、説明可能性は法的要件にもなっています。

代表的な手法として、LIME（Local Interpretable Model-agnostic Explanations）、SHAP（SHapley Additive exPlanations）、Grad-CAM（画像のどの領域に注目したかの可視化）、Attention Visualization（transformerの注意重みの可視化）などがあります。LLMに対しては、思考の連鎖（cot）を促すことで推論過程を可視化するアプローチが有効ですが、内部の計算過程と出力の整合性については引き続き研究が進んでいます。