ハイブリッド検索

ハイブリッド検索（Hybrid Search）とは、従来のキーワードベース検索（BM25・TF-IDF等）とembeddingを使ったセマンティック検索（ベクトル検索）を組み合わせることで、それぞれの弱点を補い合い総合的な検索精度を向上させる手法です。RAGシステムの検索パイプライン改善において最も効果的な手法の一つとして普及しています。

ハイブリッド検索が重要な理由は、キーワード検索とセマンティック検索がそれぞれ異なる種類のクエリに強みを持つためです。キーワード検索は「Claude 3.5 Sonnet」「GPT-4o」などの固有名詞・型番・コードを正確にマッチできますが、言い換えや概念的な類似性には弱いです。一方、セマンティック検索は「LLMの幻覚を防ぐ方法」のような概念的クエリに強いですが、固有名詞のマッチが苦手です。

実装には、BM25スコアとベクトル類似度スコアを組み合わせる「Reciprocal Rank Fusion（RRF）」や加重線形結合が使われます。Weaviate・Pinecone・Elasticsearch・Azure Cognitive Searchなど主要vector-dbがハイブリッド検索をネイティブサポートしています。さらにrerankingと組み合わせることで、初期検索結果の精度をより高められます。