Milvus

Milvusとは、2019年にZilliz社が開発し、Linux Foundation AI & Data（LF AI & Data）に寄贈したオープンソースのベクターデータベースです。大規模（数十億ベクター）の高速類似度検索に特化して設計されており、クラウドネイティブ・分散アーキテクチャを採用しています。Apache 2.0ライセンスでGitHubに公開されており、Zillizがマネージドクラウドサービス「Zilliz Cloud」を提供しています。

アーキテクチャの特徴として、(1)ストレージ・コンピュート分離：ベクターデータの永続化（S3等のオブジェクトストレージ）とクエリ処理（ステートレスワーカー）を分離し、独立したスケーリングを実現。大規模ユースケースのコスト最適化に有効、(2)多様なインデックスタイプ：FLAT・IVF_FLAT・IVF_SQ8・IVF_PQ・HNSW・ANNOY・DiskANN等の多様なANNインデックスを用途・精度・速度のトレードオフに応じて選択可能、(3)マルチベクターフィールド：1つのエンティティに複数のベクターフィールドを定義でき、画像+テキストのマルチモーダル検索に対応、(4)GPUサポート：NVIDIAのGPUを活用したベクターインデックス構築・検索の高速化（GPU索引）に対応、(5)ストリーミングインジェスト：Apache Kafkaとの統合により、リアルタイムのベクターデータインジェストをサポートがあります。

Lite版として、Milvus Liteというシングルノードの組み込みバージョンが存在し、pip install pymilvusだけでローカルインストールが可能です。プロトタイプ開発からフルクラスタへの移行がAPIレベルで互換性があり、スムーズなスケールアップが可能です。

PyMilvusのSDKを通じてPythonから操作でき、LangChain・LlamaIndex・HayStackとのネイティブ統合も提供しています。