LiteLLM

LiteLLMとは、OpenAI SDK互換のインターフェースで100以上のLLMプロバイダー（Anthropic・Google・Azure・AWS Bedrock・Cohere・Ollama等）を統一的に呼び出せるPythonライブラリおよびプロキシサーバーです。「モデルプロバイダーの違いを吸収する翻訳レイヤー」として機能し、プロバイダー乗り換えやマルチモデル戦略の実装コストを最小化します。

コアライブラリ機能として、(1)統一API：`litellm.completion(model="claude-3-5-sonnet-20241022", messages=[...])` のようにモデル名のみ変更すれば、OpenAI・Anthropic・Gemini等を透過的に呼び出し可能。レスポンス形式はOpenAI準拠に正規化、(2)フォールバック：メインモデルのAPI障害・レート制限時に指定した代替モデルへ自動切り替え。信頼性の向上に貢献、(3)ロードバランシング：同一モデルの複数デプロイメント（AzureとOpenAI等）にラウンドロビンまたは優先度で負荷分散、(4)コスト追跡：トークン使用量とモデル別コストをリアルタイムで計算・記録。予算制限アラートの設定も可能があります。

LiteLLM Proxyサーバー機能として、OpenAI互換のREST APIサーバーとして起動でき、既存のOpenAI SDKクライアント（他言語含む）がエンドポイントURLを変更するだけで接続可能です。認証（仮想APIキー）・レートリミット・ログ収集・モデルルーティングをサーバーサイドで一元管理するAIゲートウェイとしても機能します。Langfuse・Helicone・Weights & Biases等の監視ツールとの統合プラグインも提供しています。

ユースケースとして、(1)ベンダー依存（ベンダーロックイン）の回避、(2)複数モデルA/Bテストの実装、(3)組織全体のLLMアクセスを統制するゲートウェイ構築、(4)予算管理とコスト可視化に広く活用されています。