RAG 落地实战——从文档解析到向量检索到重排序的代码示例

要构建一个工业级标准的 RAG检索增强生成系统核心链路通常遵循文档加载 → 文本分块 → 向量检索粗排 → 重排序精排 → LLM 生成的流程。下面我将为你提供一个基于 Python 和 LangChain 框架的完整实战代码示例。核心环境准备与基础配置首先我们需要加载必要的库并配置文本分块和向量检索的参数。合理的分块策略是保证检索质量的第一步。importosimporttorchfromdotenvimportload_dotenvfromlangchain.text_splitterimportRecursiveCharacterTextSplitterfromlangchain_community.document_loadersimportTextLoaderfromlangchain_community.vectorstoresimportFAISSfromlangchain_community.embeddingsimportHuggingFaceBgeEmbeddings### 加载环境变量load_dotenv()### 全局配置DOC_PATH./long_document.txtFAISS_PATH./faiss_rag_rerank_db分块配置滑动窗口保证上下文连贯 CHUNK_SIZE800CHUNK_OVERLAP300检索配置 TOP_K_COARSE20# 粗检索召回20条TOP_K_FINE5# 重排序后保留5条重排序模型 RERANK_MODELBAAI/bge-reranker-v2-m3文档解析与向量库构建将原始文档进行分块并使用 Embedding 模型将其转化为向量存入 FAISS 向量数据库中。defbuild_vector_db():loaderTextLoader(DOC_PATH,encodingutf-8)docsloader.load()# 文本分块splitterRecursiveCharacterTextSplitter(chunk_sizeCHUNK_SIZE,chunk_overlapCHUNK_OVERLAP)chunkssplitter.split_documents(docs)# 加载 BGE 嵌入模型并构建向量库embeddingHuggingFaceBgeEmbeddings(model_nameBAAI/bge-small-zh-v1.5,model_kwargs{device:cudaiftorch.cuda.is_available()elsecpu},encode_kwargs{normalize_embeddings:True})dbFAISS.from_documents(chunks,embedding)db.save_local(FAISS_PATH)print(✅ 向量库构建完成)returndb多路召回与重排序核心优化为了提升检索精度生产环境中通常会采用“混合检索”向量检索 BM25 关键词检索随后引入重排序模型如 BGE-Reranker对候选结果进行精细打分。fromlangchain.retrieversimportBM25Retriever,EnsembleRetrieverfromlangchain_community.cross_encodersimportHuggingFaceCrossEncoderfromlangchain.retrieversimportContextualCompressionRetrieverfromlangchain.retrievers.document_compressorsimportCrossEncoderRerankdefget_reranked_retriever(split_docs):# 1. 初始化 BM25 稀疏召回bm25_retrieverBM25Retriever.from_documents(split_docs)bm25_retriever.k10# 2. 初始化稠密向量召回vector_retrievervector_db.as_retriever(search_kwargs{k:10})# 3. 融合两路召回结果混合检索ensemble_retrieverEnsembleRetriever(retrievers[bm25_retriever,vector_retriever],weights[0.4,0.6])# 4. 加载 BGE 重排序模型筛选最相关的 Top-Nrerank_modelHuggingFaceCrossEncoder(model_nameRERANK_MODEL)compressorCrossEncoderRerank(modelrerank_model,top_nTOP_K_FINE)# 5. 组合成带重排序的检索器compression_retrieverContextualCompressionRetriever(base_retrieverensemble_retriever,base_compressorcompressor)returncompression_retrieverLLM 生成与防幻觉控制最后将重排序后的高质量上下文与用户问题结合通过精心设计的 Prompt 让大模型生成答案并严格限制其“幻觉”。fromlangchain.promptsimportPromptTemplatefromlangchain_openaiimportChatOpenAIdefgenerate_answer(query,context_docs):# 私有知识库专属 Prompt 模板template你是一个专业的企业内部助手你需要根据提供的上下文信息回答用户的问题。 如果你不知道答案就直接说你不知道绝对不要编造答案。 上下文信息如下: {context} 用户问题: {question} 回答:promptPromptTemplate.from_template(template)# 拼接上下文contextnn.join([doc.page_contentfordocincontext_docs])formatted_promptprompt.format(contextcontext,questionquery)# 调用大模型生成设置低 temperature 降低随机性llmChatOpenAI(modelgpt-3.5-turbo,temperature0.1)responsellm.invoke(formatted_prompt)returnresponse.content 生产环境避坑与优化建议防幻觉与溯源在 Prompt 中必须强调“只根据资料回答”并在返回答案时附带来源文档信息如来源《员工报销制度》第 2 条这能大幅提升用户信任度并便于排查错误。。缓存策略对于“营业时间”、“报销流程”等高频问题建议使用 Redis 等对检索结果或最终答案进行缓存以降低响应延迟和 API 调用成本。模型选择重排序模型Reranker是提升准确率的关键。实测中BGE-Reranker-v2-m3 的效果通常优于通用的 Cross-Encoder生产环境建议优先采用。