Chat
Search
Ithy Logo

使用 Milvus 构建检索增强生成（RAG）流程的全面指南

Category:Milvus milvus (museum specimens) - Wikimedia Commons

随着生成式人工智能技术的快速发展，检索增强生成（Retrieval-Augmented Generation，简称RAG）成为提升生成内容准确性与相关性的关键技术。RAG 结合了向量检索系统与生成模型，能够基于大规模知识库生成更为精准和丰富的回答。其中，Milvus 作为高性能的开源向量数据库，凭借其卓越的向量处理能力，成为构建RAG系统的理想选择。本文将详细介绍如何利用 Milvus 构建一个高效的RAG流程，从环境准备到系统优化，涵盖具体的实现步骤与最佳实践。

一、RAG系统概述

检索增强生成（RAG）系统通过将检索系统与生成模型结合，利用外部知识库来提升生成内容的准确性和相关性。具体流程包括：

  1. 检索阶段：使用向量数据库（如 Milvus）从预先构建的知识库中检索与用户查询最相关的文档或片段。
  2. 生成阶段：将检索到的内容与用户查询一同输入生成模型（例如 OpenAI GPT 系列），生成最终的回答。

这种方法能够弥补生成模型在特定知识领域上的不足，使其生成的内容更具准确性和上下文相关性。

二、Milvus简介

Milvus 是一个开源的高性能向量数据库，专门用于存储和检索海量的高维向量数据。其主要特点包括：

  • 高性能：支持快速插入和检索海量向量，适用于实时应用场景。
  • 可扩展性：支持分布式部署，能够根据需求扩展以处理更大规模的数据。
  • 多种索引类型：如 IVF、HNSW、ANNOY 等，满足不同场景的向量检索需求。

Milvus 的高效向量检索能力使其在 RAG 系统中发挥重要作用，能够迅速找到与用户查询最相关的文档片段，从而支持生成模型生成高质量的回答。更多信息可参考 Milvus 官方文档。

三、构建RAG流程的步骤

1. 环境准备

在开始构建 RAG 流程之前，需要准备相应的环境和依赖：

  • 安装 Milvus：
  • 安装必要的Python包：
    • 使用以下命令安装所需库： pip install pymilvus transformers sentence-transformers langchain openai

2. 数据准备与向量化

  1. 数据预处理：
    • 将知识库中的文档（如FAQs、技术文档、文章等）加载并根据语义将其分割成小片段，每个片段保持语义完整。
    • 确保每个片段的长度适中，通常建议在256到1024个token之间。
  2. 生成向量：
    • 使用预训练的句子编码模型（如 Sentence-BERT 或 Hugging Face 的模型）将文本片段转换为向量表示。
    • 示例代码： import json from sentence_transformers import SentenceTransformer # 初始化模型 model = SentenceTransformer('all-MiniLM-L6-v2') # 示例文档 documents = [ "这是第一篇文档的内容。", "这是第二篇文档的内容。", # 更多文档 ] # 生成向量 embeddings = model.encode(documents, convert_to_tensor=True)

3. 向量数据存储到 Milvus

  1. 创建 Collection（集合）：
    • 定义集合的 schema，包括文档ID、文本内容和嵌入向量。
    • 示例代码： from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection # 连接Milvus connections.connect(alias="default", host="127.0.0.1", port="19530") # 定义schema fields = [ FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=False), FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=384), # 根据模型调整维度 FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=500) ] schema = CollectionSchema(fields, description="RAG支持文档存储") # 创建集合 collection = Collection("rag_collection", schema=schema)
  2. 插入数据：
    • 将生成的向量和对应的文档片段插入到 Milvus。
    • 示例代码： collection.insert([ [1, 2, 3], # 文档ID embeddings.cpu().numpy().tolist(), # 向量 documents # 文本内容 ])
  3. 创建索引：
    • 为了提高检索效率，需在嵌入向量上创建索引。
    • 示例代码： index_params = { "index_type": "IVF_FLAT", "metric_type": "L2", "params": {"nlist": 128} } collection.create_index("embedding", index_params) collection.load()

4. 查询与检索

  1. 查询向量化：
    • 将用户的查询输入转化为向量表示。
    • 示例代码： query = "如何使用 Milvus 构建 RAG 流程？" query_vector = model.encode([query], convert_to_tensor=True).cpu().numpy().tolist()
  2. 检索相关文档：
    • 在 Milvus 中执行相似度检索，获取与查询最相关的文档片段。
    • 示例代码： search_params = {"metric_type": "L2", "params": {"nprobe": 10}} results = collection.search( data=query_vector, anns_field="embedding", param=search_params, limit=5, output_fields=["text"] ) for result in results[0]: print(result.entity.get("text"))

5. 生成最终响应

将检索到的文档内容与用户查询一同传递给生成模型（如 GPT）以生成最终回答。

  • 组合查询与上下文文档：
    • 将检索到的文档片段拼接成上下文，并与用户的查询一起作为生成模型的输入。
    • 示例代码： context = "\n".join([doc["text"] for doc in results[0]]) prompt = f"问题: {query}\n上下文:\n{context}\n回答:"
  • 调用生成模型：
    • 使用生成模型根据提示生成回答。
    • 示例代码： from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("gpt2") model = AutoModelForCausalLM.from_pretrained("gpt2") inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate(**inputs) answer = tokenizer.decode(outputs[0], skip_special_tokens=True) print(answer)

6. 整合检索与生成

为了简化流程管理，可以使用框架如 Langflow 或 LangChain 来整合检索与生成步骤。

  • 示例代码（使用 LangChain 与 Milvus 集成）： from langchain.vectorstores import Milvus from langchain.embeddings import OpenAIEmbeddings from langchain.chat_models import ChatOpenAI from langchain.chains import ConversationalRetrievalChain # 初始化嵌入模型 embeddings = OpenAIEmbeddings() # 创建向量存储 vector_store = Milvus( embedding_function=embeddings, collection_name="rag_collection", connection_args={"host": "localhost", "port": "19530"} ) # 初始化聊天模型 llm = ChatOpenAI() # 创建检索链 qa_chain = ConversationalRetrievalChain.from_llm( llm=llm, retriever=vector_store.as_retriever() ) # 执行问答 def rag_query(query, chat_history=[]): result = qa_chain({"question": query, "chat_history": chat_history}) return result["answer"]

7. 性能优化与最佳实践

为了提升 RAG 系统的整体性能与用户体验，建议采取以下优化措施：

  • 合理设置文本分块大小：确保每个文本片段既能保持语义完整，又不至于过长，通常建议在256到1024个token之间。
  • 优化 Milvus 的相似度搜索参数：调整 nlist 和 nprobe 等参数以平衡搜索速度与准确性。
  • 使用过滤器优化检索结果：根据文档的元数据或其他条件进行过滤，提升检索的相关性。
  • 引入缓存机制：对于频繁查询的内容，可以使用缓存机制以减少检索延迟。
  • 定期更新知识库：保持知识库内容的时效性，定期添加或更新文档内容。
  • 实现错误处理与重试机制：确保系统在遇到故障时能够自动恢复或重试，提升系统的可靠性。
  • 记录查询日志以便优化：通过分析查询日志，了解用户的需求和系统的性能瓶颈，进行有针对性的优化。

四、示例应用场景

1. 企业知识问答系统

在企业内部，构建一个基于Milvus的RAG系统，可以将公司技术文档、内部知识库等内容加载到Milvus中，员工或客户通过提问获得精准且上下文相关的回答，提升工作效率和客户满意度。

2. 多模态应用

结合文本和图像（如产品图片、说明文档），实现更复杂的多模态RAG系统，能够处理和生成更加丰富的信息。例如，用户上传产品图片并提问相关问题，系统可以结合图像和文本信息生成详细回答。示例项目详见 多模态RAG示例。

五、相关资源与教程

六、总结

通过结合 Milvus 的高性能向量检索能力与生成模型的强大生成能力，您可以构建一个高效、可靠的RAG系统，有效提升问答系统、推荐系统等应用的性能和用户体验。本文详细介绍了从环境准备、数据处理、向量存储到查询与生成的具体步骤，并提供了优化建议与实际应用示例。根据具体需求，您还可以进一步扩展系统功能，如支持多模态数据或集成更多高级特性。建议参考相关资源与教程，深入了解各个环节的实现细节，不断优化和调整，以构建最适合您应用场景的RAG系统。


Last updated January 7, 2025
Ask Ithy AI
Export Article
Delete Article
About|Privacy|Terms||