LangSmith

LangSmithとは、LangChain社が提供するLLMアプリケーションのオブザーバビリティ・評価・デバッグプラットフォームです。LangChainやLangGraphで構築したパイプライン・エージェントの内部動作をトレースして可視化し、プロダクション運用における品質管理・コスト分析・プロンプト改善サイクルを支援します。

主要機能として、(1)トレーシング（Tracing）：LLMの呼び出し・チェーン・エージェントの各ステップをリアルタイムでキャプチャし、入出力・レイテンシ・トークン数・コストをツリー表示で可視化。コードに `LANGCHAIN_TRACING_V2=true` を設定するだけで自動収集、(2)データセット管理：本番トレースから興味深い入出力ペアをワンクリックでデータセットに追加。テスト・Fine-tuning・回帰テストの素材として活用、(3)Evaluations（評価）：データセットに対してLLM-as-judge・ルールベース・カスタム評価関数で自動評価を実施。プロンプト変更やモデル切り替えの影響を定量的に測定、(4)Prompt Hub：プロンプトテンプレートをバージョン管理・共有・配信する中央リポジトリ。チームメンバーが改訂したプロンプトをA/Bテストで比較、(5)オンライン評価：本番トラフィックの一定割合を自動サンプリングして継続的評価を実施するオンラインモニタリングがあります。

LangChain以外との統合として、LangSmithはLangChain/LangGraph専用ではなく、OpenAI SDK・Anthropic SDK・カスタムPythonコードからも `langsmith` ライブラリのdecorator/tracing APIで統合できます。これにより、任意のLLMスタックのオブザーバビリティ基盤として利用可能です。

LLMOpsサイクルの中で、LangSmithは「観測→評価→改善」のループを加速するツールとして位置づけられており、特に複雑なマルチステップエージェントのデバッグで威力を発揮します。