Replicate

Replicateとは、機械学習モデルをクラウドAPIとして実行・公開できるプラットフォームです。Ben Firshmanが2019年に設立し、Stable Diffusion・Llama・Whisper等の数千のオープンソースモデルを、GPUインフラの管理不要で数行のコードから利用できるサービスとして提供しています。

設計思想として、Replicateは「モデルのパッケージマネージャー」を志向しています。Cog（コンテナベースのモデルパッケージング形式）により、任意の機械学習モデルをDockerコンテナにパッケージングし、標準化されたAPIとして公開できます。これにより、モデル開発者は推論インフラの構築を気にせずモデルを公開でき、利用者はAPIコール1つでモデルを実行できます。

主要機能として、(1)モデルカタログ：画像生成・LLM・音声認識・動画生成・画像編集等、数千のモデルをブラウザから試用・APIで実行、(2)サーバーレス推論：リクエスト時のみGPUが起動する従量課金モデルで、アイドル時のコストゼロ、(3)モデル公開：Cogでパッケージングした自作モデルをプラットフォーム上で公開し、他ユーザーに共有、(4)ストリーミング：LLMのトークンストリーミングやWebhookによる非同期処理に対応を提供します。

LLMアプリ開発での活用として、(1)画像生成パイプライン：Stable Diffusion XL・FLUX等のモデルを呼び出してテキストから画像を生成、(2)マルチモーダルアプリ：LLM（Llama）+ 画像生成 + 音声認識を組み合わせたアプリを単一プラットフォームで構築、(3)プロトタイピング：新しいモデルをAPIで即座に試し、最適なモデルを選定があります。Together AIがLLMに特化しているのに対し、Replicateは画像・音声・動画等の幅広いMLモデルをカバーしている点が特徴です。