MLflow

MLflowとは、Databricksが2018年に開発しOSSとして公開したMLライフサイクル管理プラットフォームです。機械学習の実験追跡・再現性確保・モデル管理・デプロイのための統合ツールキットを提供します。クラウド・オンプレミス・ローカル環境を問わず動作するポータビリティと、特定MLフレームワークに依存しない設計が特徴です。Apache 2.0ライセンスのオープンソースで、Databricks Managed MLflowとしてクラウドサービスも提供されています。

4つのコアコンポーネントとして、(1)MLflow Tracking：実験のパラメーター・メトリクス・アーティファクト（モデル・プロット・データ）をAPIまたはUI経由でログ記録。Python・R・Java・REST APIに対応。実験比較ビューで複数ランを並べてグラフ比較、(2)MLflow Projects：MLコードをパッケージ化して再現可能な形式で共有・実行するための規約。MLproject定義ファイルで依存関係・エントリポイントを指定し、ローカル・Docker・Kubernetesで実行可能、(3)MLflow Models：さまざまなMLフレームワーク（sklearn・PyTorch・TensorFlow・HuggingFace・LangChain・Spark等）でトレーニングしたモデルを統一フォーマット（MLmodel）で保存し、REST API・Pythonコード・Docker等として一貫してデプロイ、(4)MLflow Model Registry：モデルのライフサイクル（Staging→Production→Archived）をバージョン管理。モデルの系譜追跡・承認ワークフロー・タグ管理を提供があります。

LLM評価機能として、MLflow 2.8以降でLLM Evaluate機能が追加され、QA・要約・RAGシステムの評価をbuilt-in評価関数またはカスタム評価関数で実施し、実験として記録できます。LangChain・OpenAI・Hugging Face Transformersとのネイティブ統合により、LLMアプリの品質管理ループをMLflowで管理するケースが増えています。

Weights & Biasesとの比較として、MLflowはフルオープンソース・セルフホスト優先・フレームワーク非依存が強みで、エンタープライズのオンプレミス環境やDatabricksを使用する組織に特に適しています。