AI Ops

AI Ops（AI Operations）とは、AIシステム・モデル・サービスを本番環境で安定的に運用・監視・改善するための実践・プロセス・ツール群の総称です。MLOps（機械学習モデルの運用）やLLMOps（LLMの運用）の上位概念として、AIインフラ管理・セキュリティ・コンプライアンス・コスト最適化・インシデント対応まで包括します。

AI Opsの主要領域として、(1)モデル監視（Model Monitoring）：本番モデルの精度劣化・データドリフト・分布シフトをリアルタイムで検出してアラートを発報、(2)インフラ管理：GPU/TPUクラスター・推論サーバー・スケーリングの自動化、(3)コスト最適化：APIコスト・クラウドリソースコストの追跡・最適化、(4)セキュリティ・コンプライアンス：モデルへの不正アクセス・プロンプトインジェクション・データ漏洩の防止と監査ログ管理、(5)継続的改善：フィードバックループによるモデル・プロンプトの継続的な改善サイクルがあります。

LLMOpsとの違いとして、LLMOpsがプロンプト管理・評価・ファインチューニングなどLLM固有の課題に焦点を当てるのに対し、AI OpsはAIシステム全体の運用体制・ガバナンス・組織的プロセスまで含む広い概念です。

ツールエコシステムとして、監視にはLangSmith・Langfuse・Weights & Biases・Datadog AI Monitoring、インフラには Kubernetes・Ray Serve・Triton Inference Server、セキュリティにはLakera Guard・Prompt Shields（Azure）が使われています。大規模企業では、AI運用を専担するAIプラットフォームチームを設置するケースが増えています。