検索パイプライン

検索パイプライン（Retrieval Pipeline）とは、RAG（Retrieval-Augmented Generation）システムにおいて、外部ドキュメントをLLMが参照できる形に整備し、クエリに対して最適なドキュメントチャンクを提供するまでの処理フロー全体を指します。RAGシステムの品質はこの検索パイプラインの設計に大きく依存します。

検索パイプラインの主要コンポーネントは、(1)ドキュメント取り込み（Ingestion）：PDF・Word・HTML・Confluenceなど様々な形式のドキュメントを読み込み・正規化、(2)チャンキング（Chunking）：ドキュメントを適切なサイズのテキスト断片に分割（固定長・文境界・意味境界など）、(3)エンベディング（Embedding）：各チャンクを埋め込みモデルでベクトル化、(4)インデックス構築：ベクトルDBへの格納とANNインデックス作成、(5)検索（Retrieval）：クエリベクトルによる上位K件取得、(6)リランキング（Reranking）：クロスエンコーダーによる精密な関連度再評価です。

高度な設計として、ハイブリッド検索（BM25キーワード検索＋ベクトル検索の組み合わせ）・階層インデックス（サマリー＋詳細の2段構成）・クエリ拡張（HyDE：仮想文書を生成してからベクトル検索）が採用されるケースが増えています。

LlamaIndex・LangChain・Haystack・Difyなどのフレームワークがパイプライン構築を支援するコンポーネントを提供しています。