Weights & Biases

Weights & Biases（W&B、ワンダービー）とは、機械学習の実験追跡・可視化・コラボレーション・MLOpsを支援するクラウドプラットフォームです。2018年の創業以来、研究機関・スタートアップ・大企業を問わず幅広く採用され、ML/LLM開発における標準的な実験管理ツールの一つとなっています。

主要製品・機能として、(1)W&B Experiments（実験追跡）：トレーニングメトリクス（loss・accuracy・perplexity等）・ハイパーパラメーター・コード・システムリソース（GPU使用率・メモリ等）を数行のコード追加で自動記録。インタラクティブなダッシュボードで実験間の比較・可視化、(2)W&B Artifacts（アーティファクト管理）：データセット・モデルの重み・評価結果等をバージョン管理して系譜（Lineage）を追跡。「どのデータでトレーニングしたどのモデルか」を完全に再現可能、(3)W&B Sweeps（ハイパーパラメーター探索）：Bayesian最適化・グリッドサーチ・ランダムサーチによる自動ハイパーパラメーターチューニング、(4)W&B Tables（データ可視化）：予測結果・画像・テキストを対話的に可視化してモデルの誤りパターンを分析、(5)W&B Weave（LLM評価）：LLMのプロンプト・レスポンス・評価メトリクスをトレースして品質を可視化。RAGパイプライン・エージェントのデバッグに対応があります。

LLMファインチューニングとの統合として、Hugging Face Trainer・PyTorch Lightning・LightningAI等のフレームワークがW&Bとのネイティブ統合を提供しており、`wandb.init()` の1行追加でトレーニング全体を自動記録できます。LLM特有の評価指標（BLEU・ROUGE・BERTScore等）もW&B Tablesで可視化できます。

MLflow・Neptune・Cometとの比較として、W&BはUI/UXの洗練度とコミュニティの規模が際立って高く、エンタープライズ向けにはオンプレミスデプロイも提供します。