这次我们来看一个从 RAG 到 SFT 的完整技术栈实战。对于想构建私有化知识库或定制化大模型应用的开发者来说RAG检索增强生成和 SFT监督微调是绕不开的两大核心路径。前者能快速让模型“知道”新知识后者则能让模型“学会”新技能或风格。但具体怎么落地从 Embedding 模型部署、LangChain 整合到最终的私有化微调每一步都有哪些坑这篇文章将带你走通全链路。本文的核心是提供一个可操作的实战指南。我们会重点关注几个关键问题部署一个可用的 Embedding 模型需要多少显存LangChain 如何与本地部署的模型无缝整合进行 SFT 微调时LoRA 和全参微调对硬件的要求有何本质区别整个过程是否支持批量任务和 API 调用我们将通过模拟的实战步骤逐一验证这些环节确保你读完就能在自己的环境中复现。本文适合有一定 Python 基础希望将大模型能力私有化、定制化落地的开发者、算法工程师和技术决策者。无论你是想构建一个内部知识问答系统还是需要针对特定领域如金融、法律、医疗微调一个专属模型这里提供的思路和方案都具有直接的参考价值。1. 核心能力速览在深入细节之前我们先通过一个表格快速了解本次实战覆盖的技术栈核心能力与资源要求。这有助于你判断是否与你的目标和硬件条件匹配。能力项说明与实战目标技术路径覆盖 RAG检索增强生成与 SFT监督微调两条主流定制化路线。Embedding 模型部署本地部署轻量级文本向量化模型如bge-small-zh提供文本转向量服务。LangChain 整合使用 LangChain 框架连接 Embedding 模型、向量数据库如 Chroma和大语言模型LLM构建 RAG 流水线。私有化微调 (SFT)使用 LoRA 等高效微调技术在消费级 GPU 上对开源大模型如 Qwen-1.8B进行领域适应训练。显存需求 (推理)Embedding 模型通常需求较低~1-2GB。LLM 推理视模型大小而定如 1.8B 模型约需 4GB。显存需求 (微调)LoRA 微调远低于全参微调。例如微调 Qwen-1.8BLoRA 可能仅需 6-8GB而全参微调可能需要 20GB。启动方式模型服务可通过 Python 脚本、FastAPI 等启动为本地 API。LangChain 应用以脚本形式运行。微调使用训练脚本。主要功能1. RAG基于私有文档的智能问答。2. SFT模型在特定任务或风格上的性能提升。是否支持 API是。可自行封装 Embedding 和 LLM 推理为 HTTP 服务供前端或其他系统调用。是否支持批量任务是。RAG 可批量处理文档入库SFT 本身就是基于批量数据集的训练过程。适合场景企业内部知识库、领域专家助手、定制化聊天机器人、数据安全的模型应用。2. 适用场景与使用边界在开始搭建之前明确技术的适用场景和边界至关重要这能帮助你做出正确的技术选型并规避潜在风险。适用场景垂直领域知识问答例如金融研报分析、法律条款查询、医疗知识咨询。利用 RAG无需重新训练模型即可让通用大模型具备专业领域知识回答能力。内部文档智能助理企业内部的规章制度、产品手册、会议纪要等非公开文档可以通过 RAG 系统实现安全、高效的内部信息检索与总结。模型风格与技能定制需要模型按照特定格式输出如生成固定结构的报告、使用特定术语或模仿某种写作风格。这时 SFT 微调比 RAG 更合适因为它是从模型参数层面进行改造。数据隐私与安全要求高的环境所有数据文档、模型、交互记录均可保留在本地或私有服务器满足金融、政务等行业的合规要求。技术边界与注意事项RAG 并非“记忆”而是“检索”RAG 系统不会改变模型本身的“知识”它只是在回答问题时临时从外部知识库中检索相关信息作为参考。因此对于高度逻辑推理或需要模型内部深刻理解的问题RAG 可能力有不逮。SFT 微调需要高质量数据“垃圾进垃圾出”在微调中尤为明显。微调数据的质量、数量和标注一致性直接决定最终模型的效果。数据准备是微调过程中最耗时、最关键的环节。硬件门槛是现实约束虽然 LoRA 降低了微调门槛但处理长上下文、大批量数据仍需可观的 GPU 内存。在资源有限的情况下需要在模型大小、数据量、训练时长之间做出权衡。版权与数据合规用于微调的数据必须确保拥有合法版权或授权。RAG 系统检索的公司内部文档也需注意信息保密级别。切勿使用未授权的书籍、代码、个人隐私信息进行训练或构建知识库。效果评估不可或缺部署 RAG 或微调模型后必须设计测试集进行系统化评估检查其准确性、相关性和安全性避免产生误导性或有害的输出。3. 环境准备与前置条件一个稳定、干净的环境是成功的第一步。以下是本次实战所需的基础软件环境清单。操作系统推荐Linux (Ubuntu 20.04/22.04 LTS) 或 Windows 10/11 with WSL2。生产环境优先选择 Linux。说明大部分深度学习框架和工具在 Linux 下有更好的支持和性能。Python 环境版本Python 3.8 - 3.10。建议使用 3.9 或 3.10兼容性最广。管理工具强烈建议使用conda或venv创建独立的虚拟环境避免包冲突。# 使用 conda 创建环境 conda create -n rag-sft python3.10 conda activate rag-sft # 或使用 venv python -m venv rag-sft-env # Linux/Mac source rag-sft-env/bin/activate # Windows rag-sft-env\Scripts\activate深度学习框架与 CUDAPyTorch根据你的 CUDA 版本安装。前往 PyTorch 官网 获取安装命令。# 例如CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118CUDA Toolkit确保安装的 PyTorch 版本与 CUDA 版本匹配。可通过nvidia-smi查看驱动支持的 CUDA 最高版本。GPU 内存至少 8GB 显存如 RTX 3070, 4060 Ti可进行小模型7B的 LoRA 微调和 RAG 实验。如需全参微调或使用更大模型需要 24GB 或以上显存如 RTX 3090/4090。关键 Python 包在激活的虚拟环境中安装以下核心依赖# 基础与数据处理 pip install numpy pandas tqdm # 深度学习与模型 pip install transformers accelerate peft bitsandbytes # RAG 相关 pip install langchain langchain-community chromadb sentence-transformers # 模型服务与 API pip install fastapi uvicorn pydantic # 其他工具 pip install jupyter notebook注peft用于 LoRA 等高效微调sentence-transformers用于方便地加载 Embedding 模型chromadb是一个轻量级向量数据库。4. 第一阶段实战Embedding 模型部署与 LangChain 整合我们先从 RAG 的前半部分开始让文档变成向量并存入知识库。4.1 部署本地 Embedding 模型Embedding 模型负责将文本转换为数值向量嵌入。我们选择BAAI/bge-small-zh这是一个优秀的中文轻量级模型。步骤 1下载与加载模型创建一个 Python 脚本embedding_service.pyfrom sentence_transformers import SentenceTransformer import numpy as np class LocalEmbeddingModel: def __init__(self, model_nameBAAI/bge-small-zh, devicecuda): 初始化本地 Embedding 模型。 :param model_name: 模型名称从 Hugging Face Hub 加载 :param device: cuda 或 cpu print(f正在加载模型: {model_name}设备: {device}) self.model SentenceTransformer(model_name, devicedevice) print(模型加载完毕。) def encode(self, texts): 将文本列表编码为向量。 :param texts: 字符串列表 :return: numpy 数组形状为 (len(texts), embedding_dim) if isinstance(texts, str): texts [texts] embeddings self.model.encode(texts, normalize_embeddingsTrue, # 归一化便于余弦相似度计算 show_progress_barFalse) return embeddings if __name__ __main__: # 测试代码 embedder LocalEmbeddingModel(devicecuda) # 如果无GPU改为 cpu test_texts [今天天气真好, RAG技术很有趣, 深度学习需要大量计算] vectors embedder.encode(test_texts) print(f向量维度: {vectors.shape}) print(f第一条文本向量 (前10维): {vectors[0][:10]})运行此脚本它会从 Hugging Face 下载模型首次运行需要时间。观察控制台输出和显存占用可使用nvidia-smi命令。步骤 2封装为 FastAPI 服务可选为了更方便地被其他程序调用我们可以将其封装成 HTTP API。创建embedding_api.pyfrom fastapi import FastAPI from pydantic import BaseModel from typing import List from embedding_service import LocalEmbeddingModel import uvicorn app FastAPI(title本地 Embedding 服务) embedder LocalEmbeddingModel() # 全局加载一次模型 class EmbeddingRequest(BaseModel): texts: List[str] class EmbeddingResponse(BaseModel): embeddings: List[List[float]] model: str dimensions: int app.post(/embed, response_modelEmbeddingResponse) async def get_embeddings(request: EmbeddingRequest): vectors embedder.encode(request.texts) return EmbeddingResponse( embeddingsvectors.tolist(), modelBAAI/bge-small-zh, dimensionsvectors.shape[1] ) app.get(/health) async def health_check(): return {status: healthy} if __name__ __main__: # 启动服务默认在 http://127.0.0.1:8000 uvicorn.run(app, host0.0.0.0, port8000)启动服务后你可以用 curl 或 Python requests 进行测试curl -X POST http://127.0.0.1:8000/embed \ -H Content-Type: application/json \ -d {texts: [什么是机器学习, 深度学习是机器学习的子集。]}4.2 构建 LangChain RAG 流水线现在我们将 Embedding 模型、向量数据库和 LLM 用 LangChain 串联起来。步骤 1文档加载与切分准备你的知识文档如 TXT, PDF, MD 文件。这里以文本字符串为例。from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.document_loaders import TextLoader # 假设我们有一个文档内容 doc_text 大型语言模型LLM是建立在 Transformer 架构上的深度学习模型。 RAG即检索增强生成通过检索外部知识源来增强 LLM 的生成过程。 微调Fine-tuning是指在特定数据集上进一步训练预训练模型。 # 使用文本分割器 text_splitter RecursiveCharacterTextSplitter( chunk_size200, # 每个块的大小 chunk_overlap50, # 块之间的重叠 separators[\n\n, \n, 。, , , , 、, , ] ) documents text_splitter.create_documents([doc_text]) print(f将文档切分为 {len(documents)} 个块。) for i, doc in enumerate(documents[:2]): print(f块 {i}: {doc.page_content[:100]}...)步骤 2连接向量数据库与 Embedding 模型我们将使用 Chroma 作为向量数据库并集成刚才部署的本地 Embedding 模型。from langchain_community.vectorstores import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings # 注意这里我们使用 langchain_community 的 HuggingFaceEmbeddings 来包装 sentence-transformers 模型 # 它底层会调用我们之前加载的同类模型。 # 初始化 Embedding 函数 embeddings HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh, model_kwargs{device: cuda}, # 或 cpu encode_kwargs{normalize_embeddings: True} ) # 创建向量数据库并持久化 vectorstore Chroma.from_documents( documentsdocuments, embeddingembeddings, persist_directory./chroma_db # 指定持久化目录 ) vectorstore.persist() print(向量数据库已创建并保存到 ./chroma_db)步骤 3集成 LLM 并创建检索链我们需要一个大语言模型来生成最终答案。这里以调用 OpenAI API 为例需 API Key。对于完全私有化部署你可以替换为本地启动的Qwen、ChatGLM等开源模型。from langchain.chains import RetrievalQA from langchain_openai import ChatOpenAI import os # 设置 OpenAI API Key (示例实际请替换或使用环境变量) os.environ[OPENAI_API_KEY] your-api-key-here # 对于本地模型你可能需要使用 LangChain 的 HuggingFacePipeline 来封装 # 初始化 LLM llm ChatOpenAI(model_namegpt-3.5-turbo, temperature0) # 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 简单地将所有检索到的文档内容塞入上下文 retrievervectorstore.as_retriever(search_kwargs{k: 3}), # 检索前3个相关块 return_source_documentsTrue # 返回源文档用于追溯 ) # 进行提问 question 请解释一下 RAG 是什么 result qa_chain.invoke({query: question}) print(f问题: {question}) print(f答案: {result[result]}) print(\n--- 参考来源 ---) for doc in result[source_documents]: print(f- {doc.page_content[:150]}...)关键点如果你想使用本地 LLM例如通过ollama或vLLM部署的模型你需要使用langchain_community.llms或langchain_community.chat_models中对应的集成类来替换ChatOpenAI。5. 第二阶段实战私有化大模型微调 (SFT)当 RAG 不能满足需求如需要改变模型推理方式、学习特定格式或者你有高质量的领域对话数据时就需要进行 SFT。5.1 微调方案选择全参微调 vs. LoRA这是决定硬件门槛的关键选择。全参微调 (Full Fine-Tuning)更新模型的所有参数。效果通常最好但需要巨大的显存通常是模型大小的 4-8 倍和更长的训练时间。适合有充足计算资源多张 A100/H100和研究需求的情况。LoRA (Low-Rank Adaptation)一种参数高效微调方法。它冻结预训练模型的权重只在 Transformer 层的注意力机制中注入可训练的“低秩”矩阵。显存占用和计算开销大幅降低通常只需额外 1% 的参数效果接近全参微调。这是消费级 GPU 上进行微调的首选方案。本次实战我们选择LoRA。5.2 准备微调数据微调数据通常需要“指令-输出”对。格式可以是 JSON、JSONL 或 CSV。这里我们使用 Hugging Face Datasets 库支持的格式。创建一个dataset.jsonl文件每行是一个字典{instruction: 写一首关于春天的五言绝句。, output: 春眠不觉晓处处闻啼鸟。夜来风雨声花落知多少。} {instruction: 将以下英文翻译成中文The rapid development of artificial intelligence is changing the world., output: 人工智能的快速发展正在改变世界。} {instruction: 用 Python 写一个计算斐波那契数列的函数。, output: def fibonacci(n):\n a, b 0, 1\n for _ in range(n):\n yield a\n a, b b, a b}数据质量至关重要需要清洗、去重并确保指令的多样性和输出的准确性。5.3 使用 PEFT 进行 LoRA 微调我们以微调Qwen/Qwen-1_8B-Chat模型为例。确保你的环境已安装transformers,accelerate,peft,datasets,trl(可选) 等库。步骤 1加载模型和分词器from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model, TaskType import torch model_name Qwen/Qwen-1_8B-Chat tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 设置 padding token if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.float16, # 使用半精度减少显存 device_mapauto, # 自动分配模型层到 GPU/CPU low_cpu_mem_usageTrue ) print(f原始模型参数量: {model.num_parameters():,})步骤 2配置 LoRAlora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果语言模型任务 r8, # LoRA 的秩 (rank)越小参数量越少通常 4, 8, 16 lora_alpha32, # 缩放系数 lora_dropout0.1, target_modules[q_proj, k_proj, v_proj, o_proj], # 针对 Qwen 的注意力模块 biasnone ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量应该远小于总参数量步骤 3准备数据集并 Tokenizefrom datasets import load_dataset # 加载自定义数据集 dataset load_dataset(json, data_filesdataset.jsonl, splittrain) def tokenize_function(examples): # 构建指令格式这里使用 Qwen 的 Chat 格式 texts [] for inst, out in zip(examples[instruction], examples[output]): message [ {role: user, content: inst}, {role: assistant, content: out} ] # 使用 tokenizer 的 apply_chat_template 方法如果支持 # 如果不支持可以手动拼接text f|im_start|user\n{inst}|im_end|\n|im_start|assistant\n{out}|im_end| text tokenizer.apply_chat_template(message, tokenizeFalse) texts.append(text) return tokenizer(texts, truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset.column_names) tokenized_dataset tokenized_dataset.train_test_split(test_size0.1) train_dataset tokenized_dataset[train] eval_dataset tokenized_dataset[test]步骤 4配置训练参数并开始训练from transformers import Trainer, DataCollatorForLanguageModeling training_args TrainingArguments( output_dir./qwen-1.8b-lora-sft, # 输出目录 per_device_train_batch_size4, # 根据显存调整8GB显存可能只能设2 gradient_accumulation_steps4, # 梯度累积模拟更大batch size num_train_epochs3, # 训练轮数 logging_steps10, save_steps200, evaluation_strategysteps, eval_steps200, learning_rate2e-4, # LoRA 学习率可以稍大 fp16True, # 使用混合精度训练节省显存 save_total_limit2, load_best_model_at_endTrue, report_tonone # 不报告给wandb等 ) data_collator DataCollatorForLanguageModeling(tokenizertokenizer, mlmFalse) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, data_collatordata_collator, ) print(开始训练...) trainer.train() print(训练完成) model.save_pretrained(./qwen-1.8b-lora-sft-final) # 保存 LoRA 权重关键观察点显存占用使用nvidia-smi监控训练过程中的显存。LoRA 微调 1.8B 模型batch_size2时显存占用可能在 6-10GB 左右具体取决于序列长度和优化器。训练日志关注训练损失和评估损失确保其平稳下降。保存的权重最终保存的只有 LoRA 的适配器权重通常只有几十 MB而不是整个模型几个 GB。5.4 加载与测试微调后的模型训练完成后你可以轻松加载基础模型和 LoRA 权重进行推理。from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from peft import PeftModel base_model_name Qwen/Qwen-1_8B-Chat lora_weights_path ./qwen-1.8b-lora-sft-final tokenizer AutoTokenizer.from_pretrained(base_model_name, trust_remote_codeTrue) base_model AutoModelForCausalLM.from_pretrained( base_model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto, ) model PeftModel.from_pretrained(base_model, lora_weights_path) model model.merge_and_unload() # 可选将 LoRA 权重合并到基础模型中加速推理 pipe pipeline(text-generation, modelmodel, tokenizertokenizer, device0) # 测试 test_instruction 写一首关于秋天的诗。 prompt f|im_start|user\n{test_instruction}|im_end|\n|im_start|assistant\n result pipe(prompt, max_new_tokens150, do_sampleTrue, temperature0.7) print(result[0][generated_text])检查输出是否符合你在训练数据中定义的风格或格式。6. 资源占用与性能观察在整个流程中监控资源使用情况是保证稳定运行的关键。Embedding 模型服务显存bge-small-zh模型加载后GPU 显存占用约 1-2 GB。CPU/内存主要消耗在文本预处理和 HTTP 服务框架上。性能批量编码 (batch_encode) 速度远快于单条编码。可通过调整 API 服务的max_batch_size和max_concurrent_requests来优化吞吐。LangChain RAG 应用检索速度取决于向量数据库Chroma的索引规模和检索算法近似最近邻。首次加载数据库和模型会有开销。LLM 调用延迟如果使用远程 API如 OpenAI延迟受网络影响。如果使用本地 LLM则受本地 GPU 推理速度影响。内存LangChain 应用本身内存占用不大主要看加载的文档数量和向量索引大小。LoRA 微调训练显存峰值这是最主要的瓶颈。由以下因素决定模型参数量基础模型大小。训练批量大小 (per_device_train_batch_size)。序列最大长度 (max_length)。优化器状态使用 AdamW 会保存模型参数两倍的显存但bitsandbytes的 8-bit 优化器可缓解。降低显存技巧使用torch.float16(fp16) 或bfloat16。启用梯度检查点 (model.gradient_checkpointing_enable())。使用bitsandbytes库进行 4-bit/8-bit 量化加载模型。减小batch_size增加gradient_accumulation_steps。使用更小的 LoRArank(r)。磁盘 I/O频繁保存检查点可能会成为瓶颈尤其是使用网络存储时。可以适当减少save_steps。7. 常见问题与排查方法在实战中你可能会遇到以下典型问题。这里提供排查思路。问题现象可能原因排查方式解决方案ImportError: No module named ‘xxx’依赖包未安装或环境错误。检查当前 Python 环境使用pip list | grep xxx。在正确的虚拟环境中使用pip install安装缺失包。注意版本兼容性。CUDA out of memoryGPU 显存不足。运行nvidia-smi查看显存占用和进程。1. 减小batch_size。2. 使用梯度累积。3. 启用fp16/bf16。4. 使用内存更小的模型。5. 清理不必要的 GPU 缓存 (torch.cuda.empty_cache())。LangChain 调用本地 LLM 失败本地模型服务未启动或接口不兼容。检查模型服务进程是否运行端口是否监听测试其 API 接口。确保本地模型服务如 ollama, vLLM, FastChat已正确启动并按照其文档配置 LangChain 的LLM类。向量检索结果不相关1. Embedding 模型不适合领域。2. 文本切分策略不佳。3. 检索 top-k 值太小。1. 检查 Embedding 向量是否正常。2. 查看被检索到的原文块内容。3. 尝试不同的切分器chunk_size,chunk_overlap。1. 更换更匹配的 Embedding 模型如bge-large-zh。2. 调整切分参数使语义更完整。3. 增大search_kwargs{“k”: n}中的n。微调训练损失不下降或震荡1. 学习率设置不当。2. 数据质量差或有噪声。3. 数据格式与模型输入格式不匹配。1. 查看训练日志曲线。2. 检查少量训练样本的输入输出。3. 验证tokenize_function是否正确。1. 尝试更小的学习率如 1e-5。2. 清洗和检查训练数据。3. 参考模型官方文档确保指令模板正确。微调后模型输出乱码或退化1. 过拟合。2. 训练步数太多或学习率太大。3. 数据分布与预训练差异过大。1. 观察验证集损失是否先降后升。2. 在保留的测试集上评估。1. 早停early_stopping。2. 增加数据量或使用数据增强。3. 尝试全参数微调或调整 LoRA 的alpha和dropout。API 服务请求超时1. 模型推理速度慢。2. 请求队列阻塞。3. 网络问题。1. 在服务端日志中查看单次推理耗时。2. 检查服务器 CPU/GPU/内存负载。1. 优化模型量化、使用更小模型。2. 为 API 服务设置合理的超时和并发限制。3. 使用异步框架如 FastAPI并优化代码。8. 最佳实践与使用建议基于以上实战总结几条能帮你走得更稳的建议从小开始快速验证不要一开始就处理海量文档或微调超大模型。用 10-100 条高质量数据/文档跑通从 Embedding 到 RAG 问答或 LoRA 微调的全流程验证技术路线可行性。数据质量高于一切无论是 RAG 的源文档还是 SFT 的训练数据质量决定天花板。投入时间在数据清洗、去重和格式化上回报最高。版本化管理一切使用 Git 管理代码使用 DVC 或类似工具管理模型权重、数据集和向量数据库。记录每次实验的超参数、环境配置和结果。建立评估基准定义清晰的评估指标。对于 RAG可以是答案准确性、引用相关性。对于 SFT可以是任务特定的准确率、BLEU 分数或人工评估。没有评估优化就失去了方向。考虑混合策略RAG 和 SFT 不是互斥的。对于复杂系统可以先使用 RAG 快速赋予模型新知识再针对模型在特定任务上的不足使用 SFT 进行能力微调。安全与合规前置在项目启动前就明确数据来源的合法性、用户隐私的保护措施、模型生成内容的安全过滤机制如设置temperature0减少随机性添加后处理过滤器。从部署一个轻量级的 Embedding 模型开始到用 LangChain 搭建起可用的 RAG 流水线再到通过 LoRA 技术对开源大模型进行高效的私有化微调这条路径已经变得非常清晰且可执行。整个过程的核心在于理解每个组件的角色并做好资源与效果的平衡。最值得尝试的起点无疑是先搭建一个最小可用的 RAG 系统它能让你立刻感受到大模型与私有知识结合的力量。而在微调时首要关注数据质量与 LoRA 超参数的选择它们是效果好坏的关键。当你成功运行起第一个私有化的智能应用时你会发现从技术概念到落地产品之间的鸿沟正在被这些扎实的工具和实践一步步填平。 从RAG到SFT：私有化大模型应用全链路实战指南
这次我们来看一个从 RAG 到 SFT 的完整技术栈实战。对于想构建私有化知识库或定制化大模型应用的开发者来说RAG检索增强生成和 SFT监督微调是绕不开的两大核心路径。前者能快速让模型“知道”新知识后者则能让模型“学会”新技能或风格。但具体怎么落地从 Embedding 模型部署、LangChain 整合到最终的私有化微调每一步都有哪些坑这篇文章将带你走通全链路。本文的核心是提供一个可操作的实战指南。我们会重点关注几个关键问题部署一个可用的 Embedding 模型需要多少显存LangChain 如何与本地部署的模型无缝整合进行 SFT 微调时LoRA 和全参微调对硬件的要求有何本质区别整个过程是否支持批量任务和 API 调用我们将通过模拟的实战步骤逐一验证这些环节确保你读完就能在自己的环境中复现。本文适合有一定 Python 基础希望将大模型能力私有化、定制化落地的开发者、算法工程师和技术决策者。无论你是想构建一个内部知识问答系统还是需要针对特定领域如金融、法律、医疗微调一个专属模型这里提供的思路和方案都具有直接的参考价值。1. 核心能力速览在深入细节之前我们先通过一个表格快速了解本次实战覆盖的技术栈核心能力与资源要求。这有助于你判断是否与你的目标和硬件条件匹配。能力项说明与实战目标技术路径覆盖 RAG检索增强生成与 SFT监督微调两条主流定制化路线。Embedding 模型部署本地部署轻量级文本向量化模型如bge-small-zh提供文本转向量服务。LangChain 整合使用 LangChain 框架连接 Embedding 模型、向量数据库如 Chroma和大语言模型LLM构建 RAG 流水线。私有化微调 (SFT)使用 LoRA 等高效微调技术在消费级 GPU 上对开源大模型如 Qwen-1.8B进行领域适应训练。显存需求 (推理)Embedding 模型通常需求较低~1-2GB。LLM 推理视模型大小而定如 1.8B 模型约需 4GB。显存需求 (微调)LoRA 微调远低于全参微调。例如微调 Qwen-1.8BLoRA 可能仅需 6-8GB而全参微调可能需要 20GB。启动方式模型服务可通过 Python 脚本、FastAPI 等启动为本地 API。LangChain 应用以脚本形式运行。微调使用训练脚本。主要功能1. RAG基于私有文档的智能问答。2. SFT模型在特定任务或风格上的性能提升。是否支持 API是。可自行封装 Embedding 和 LLM 推理为 HTTP 服务供前端或其他系统调用。是否支持批量任务是。RAG 可批量处理文档入库SFT 本身就是基于批量数据集的训练过程。适合场景企业内部知识库、领域专家助手、定制化聊天机器人、数据安全的模型应用。2. 适用场景与使用边界在开始搭建之前明确技术的适用场景和边界至关重要这能帮助你做出正确的技术选型并规避潜在风险。适用场景垂直领域知识问答例如金融研报分析、法律条款查询、医疗知识咨询。利用 RAG无需重新训练模型即可让通用大模型具备专业领域知识回答能力。内部文档智能助理企业内部的规章制度、产品手册、会议纪要等非公开文档可以通过 RAG 系统实现安全、高效的内部信息检索与总结。模型风格与技能定制需要模型按照特定格式输出如生成固定结构的报告、使用特定术语或模仿某种写作风格。这时 SFT 微调比 RAG 更合适因为它是从模型参数层面进行改造。数据隐私与安全要求高的环境所有数据文档、模型、交互记录均可保留在本地或私有服务器满足金融、政务等行业的合规要求。技术边界与注意事项RAG 并非“记忆”而是“检索”RAG 系统不会改变模型本身的“知识”它只是在回答问题时临时从外部知识库中检索相关信息作为参考。因此对于高度逻辑推理或需要模型内部深刻理解的问题RAG 可能力有不逮。SFT 微调需要高质量数据“垃圾进垃圾出”在微调中尤为明显。微调数据的质量、数量和标注一致性直接决定最终模型的效果。数据准备是微调过程中最耗时、最关键的环节。硬件门槛是现实约束虽然 LoRA 降低了微调门槛但处理长上下文、大批量数据仍需可观的 GPU 内存。在资源有限的情况下需要在模型大小、数据量、训练时长之间做出权衡。版权与数据合规用于微调的数据必须确保拥有合法版权或授权。RAG 系统检索的公司内部文档也需注意信息保密级别。切勿使用未授权的书籍、代码、个人隐私信息进行训练或构建知识库。效果评估不可或缺部署 RAG 或微调模型后必须设计测试集进行系统化评估检查其准确性、相关性和安全性避免产生误导性或有害的输出。3. 环境准备与前置条件一个稳定、干净的环境是成功的第一步。以下是本次实战所需的基础软件环境清单。操作系统推荐Linux (Ubuntu 20.04/22.04 LTS) 或 Windows 10/11 with WSL2。生产环境优先选择 Linux。说明大部分深度学习框架和工具在 Linux 下有更好的支持和性能。Python 环境版本Python 3.8 - 3.10。建议使用 3.9 或 3.10兼容性最广。管理工具强烈建议使用conda或venv创建独立的虚拟环境避免包冲突。# 使用 conda 创建环境 conda create -n rag-sft python3.10 conda activate rag-sft # 或使用 venv python -m venv rag-sft-env # Linux/Mac source rag-sft-env/bin/activate # Windows rag-sft-env\Scripts\activate深度学习框架与 CUDAPyTorch根据你的 CUDA 版本安装。前往 PyTorch 官网 获取安装命令。# 例如CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118CUDA Toolkit确保安装的 PyTorch 版本与 CUDA 版本匹配。可通过nvidia-smi查看驱动支持的 CUDA 最高版本。GPU 内存至少 8GB 显存如 RTX 3070, 4060 Ti可进行小模型7B的 LoRA 微调和 RAG 实验。如需全参微调或使用更大模型需要 24GB 或以上显存如 RTX 3090/4090。关键 Python 包在激活的虚拟环境中安装以下核心依赖# 基础与数据处理 pip install numpy pandas tqdm # 深度学习与模型 pip install transformers accelerate peft bitsandbytes # RAG 相关 pip install langchain langchain-community chromadb sentence-transformers # 模型服务与 API pip install fastapi uvicorn pydantic # 其他工具 pip install jupyter notebook注peft用于 LoRA 等高效微调sentence-transformers用于方便地加载 Embedding 模型chromadb是一个轻量级向量数据库。4. 第一阶段实战Embedding 模型部署与 LangChain 整合我们先从 RAG 的前半部分开始让文档变成向量并存入知识库。4.1 部署本地 Embedding 模型Embedding 模型负责将文本转换为数值向量嵌入。我们选择BAAI/bge-small-zh这是一个优秀的中文轻量级模型。步骤 1下载与加载模型创建一个 Python 脚本embedding_service.pyfrom sentence_transformers import SentenceTransformer import numpy as np class LocalEmbeddingModel: def __init__(self, model_nameBAAI/bge-small-zh, devicecuda): 初始化本地 Embedding 模型。 :param model_name: 模型名称从 Hugging Face Hub 加载 :param device: cuda 或 cpu print(f正在加载模型: {model_name}设备: {device}) self.model SentenceTransformer(model_name, devicedevice) print(模型加载完毕。) def encode(self, texts): 将文本列表编码为向量。 :param texts: 字符串列表 :return: numpy 数组形状为 (len(texts), embedding_dim) if isinstance(texts, str): texts [texts] embeddings self.model.encode(texts, normalize_embeddingsTrue, # 归一化便于余弦相似度计算 show_progress_barFalse) return embeddings if __name__ __main__: # 测试代码 embedder LocalEmbeddingModel(devicecuda) # 如果无GPU改为 cpu test_texts [今天天气真好, RAG技术很有趣, 深度学习需要大量计算] vectors embedder.encode(test_texts) print(f向量维度: {vectors.shape}) print(f第一条文本向量 (前10维): {vectors[0][:10]})运行此脚本它会从 Hugging Face 下载模型首次运行需要时间。观察控制台输出和显存占用可使用nvidia-smi命令。步骤 2封装为 FastAPI 服务可选为了更方便地被其他程序调用我们可以将其封装成 HTTP API。创建embedding_api.pyfrom fastapi import FastAPI from pydantic import BaseModel from typing import List from embedding_service import LocalEmbeddingModel import uvicorn app FastAPI(title本地 Embedding 服务) embedder LocalEmbeddingModel() # 全局加载一次模型 class EmbeddingRequest(BaseModel): texts: List[str] class EmbeddingResponse(BaseModel): embeddings: List[List[float]] model: str dimensions: int app.post(/embed, response_modelEmbeddingResponse) async def get_embeddings(request: EmbeddingRequest): vectors embedder.encode(request.texts) return EmbeddingResponse( embeddingsvectors.tolist(), modelBAAI/bge-small-zh, dimensionsvectors.shape[1] ) app.get(/health) async def health_check(): return {status: healthy} if __name__ __main__: # 启动服务默认在 http://127.0.0.1:8000 uvicorn.run(app, host0.0.0.0, port8000)启动服务后你可以用 curl 或 Python requests 进行测试curl -X POST http://127.0.0.1:8000/embed \ -H Content-Type: application/json \ -d {texts: [什么是机器学习, 深度学习是机器学习的子集。]}4.2 构建 LangChain RAG 流水线现在我们将 Embedding 模型、向量数据库和 LLM 用 LangChain 串联起来。步骤 1文档加载与切分准备你的知识文档如 TXT, PDF, MD 文件。这里以文本字符串为例。from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain_community.document_loaders import TextLoader # 假设我们有一个文档内容 doc_text 大型语言模型LLM是建立在 Transformer 架构上的深度学习模型。 RAG即检索增强生成通过检索外部知识源来增强 LLM 的生成过程。 微调Fine-tuning是指在特定数据集上进一步训练预训练模型。 # 使用文本分割器 text_splitter RecursiveCharacterTextSplitter( chunk_size200, # 每个块的大小 chunk_overlap50, # 块之间的重叠 separators[\n\n, \n, 。, , , , 、, , ] ) documents text_splitter.create_documents([doc_text]) print(f将文档切分为 {len(documents)} 个块。) for i, doc in enumerate(documents[:2]): print(f块 {i}: {doc.page_content[:100]}...)步骤 2连接向量数据库与 Embedding 模型我们将使用 Chroma 作为向量数据库并集成刚才部署的本地 Embedding 模型。from langchain_community.vectorstores import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings # 注意这里我们使用 langchain_community 的 HuggingFaceEmbeddings 来包装 sentence-transformers 模型 # 它底层会调用我们之前加载的同类模型。 # 初始化 Embedding 函数 embeddings HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh, model_kwargs{device: cuda}, # 或 cpu encode_kwargs{normalize_embeddings: True} ) # 创建向量数据库并持久化 vectorstore Chroma.from_documents( documentsdocuments, embeddingembeddings, persist_directory./chroma_db # 指定持久化目录 ) vectorstore.persist() print(向量数据库已创建并保存到 ./chroma_db)步骤 3集成 LLM 并创建检索链我们需要一个大语言模型来生成最终答案。这里以调用 OpenAI API 为例需 API Key。对于完全私有化部署你可以替换为本地启动的Qwen、ChatGLM等开源模型。from langchain.chains import RetrievalQA from langchain_openai import ChatOpenAI import os # 设置 OpenAI API Key (示例实际请替换或使用环境变量) os.environ[OPENAI_API_KEY] your-api-key-here # 对于本地模型你可能需要使用 LangChain 的 HuggingFacePipeline 来封装 # 初始化 LLM llm ChatOpenAI(model_namegpt-3.5-turbo, temperature0) # 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 简单地将所有检索到的文档内容塞入上下文 retrievervectorstore.as_retriever(search_kwargs{k: 3}), # 检索前3个相关块 return_source_documentsTrue # 返回源文档用于追溯 ) # 进行提问 question 请解释一下 RAG 是什么 result qa_chain.invoke({query: question}) print(f问题: {question}) print(f答案: {result[result]}) print(\n--- 参考来源 ---) for doc in result[source_documents]: print(f- {doc.page_content[:150]}...)关键点如果你想使用本地 LLM例如通过ollama或vLLM部署的模型你需要使用langchain_community.llms或langchain_community.chat_models中对应的集成类来替换ChatOpenAI。5. 第二阶段实战私有化大模型微调 (SFT)当 RAG 不能满足需求如需要改变模型推理方式、学习特定格式或者你有高质量的领域对话数据时就需要进行 SFT。5.1 微调方案选择全参微调 vs. LoRA这是决定硬件门槛的关键选择。全参微调 (Full Fine-Tuning)更新模型的所有参数。效果通常最好但需要巨大的显存通常是模型大小的 4-8 倍和更长的训练时间。适合有充足计算资源多张 A100/H100和研究需求的情况。LoRA (Low-Rank Adaptation)一种参数高效微调方法。它冻结预训练模型的权重只在 Transformer 层的注意力机制中注入可训练的“低秩”矩阵。显存占用和计算开销大幅降低通常只需额外 1% 的参数效果接近全参微调。这是消费级 GPU 上进行微调的首选方案。本次实战我们选择LoRA。5.2 准备微调数据微调数据通常需要“指令-输出”对。格式可以是 JSON、JSONL 或 CSV。这里我们使用 Hugging Face Datasets 库支持的格式。创建一个dataset.jsonl文件每行是一个字典{instruction: 写一首关于春天的五言绝句。, output: 春眠不觉晓处处闻啼鸟。夜来风雨声花落知多少。} {instruction: 将以下英文翻译成中文The rapid development of artificial intelligence is changing the world., output: 人工智能的快速发展正在改变世界。} {instruction: 用 Python 写一个计算斐波那契数列的函数。, output: def fibonacci(n):\n a, b 0, 1\n for _ in range(n):\n yield a\n a, b b, a b}数据质量至关重要需要清洗、去重并确保指令的多样性和输出的准确性。5.3 使用 PEFT 进行 LoRA 微调我们以微调Qwen/Qwen-1_8B-Chat模型为例。确保你的环境已安装transformers,accelerate,peft,datasets,trl(可选) 等库。步骤 1加载模型和分词器from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model, TaskType import torch model_name Qwen/Qwen-1_8B-Chat tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) # 设置 padding token if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( model_name, trust_remote_codeTrue, torch_dtypetorch.float16, # 使用半精度减少显存 device_mapauto, # 自动分配模型层到 GPU/CPU low_cpu_mem_usageTrue ) print(f原始模型参数量: {model.num_parameters():,})步骤 2配置 LoRAlora_config LoraConfig( task_typeTaskType.CAUSAL_LM, # 因果语言模型任务 r8, # LoRA 的秩 (rank)越小参数量越少通常 4, 8, 16 lora_alpha32, # 缩放系数 lora_dropout0.1, target_modules[q_proj, k_proj, v_proj, o_proj], # 针对 Qwen 的注意力模块 biasnone ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量应该远小于总参数量步骤 3准备数据集并 Tokenizefrom datasets import load_dataset # 加载自定义数据集 dataset load_dataset(json, data_filesdataset.jsonl, splittrain) def tokenize_function(examples): # 构建指令格式这里使用 Qwen 的 Chat 格式 texts [] for inst, out in zip(examples[instruction], examples[output]): message [ {role: user, content: inst}, {role: assistant, content: out} ] # 使用 tokenizer 的 apply_chat_template 方法如果支持 # 如果不支持可以手动拼接text f|im_start|user\n{inst}|im_end|\n|im_start|assistant\n{out}|im_end| text tokenizer.apply_chat_template(message, tokenizeFalse) texts.append(text) return tokenizer(texts, truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset.column_names) tokenized_dataset tokenized_dataset.train_test_split(test_size0.1) train_dataset tokenized_dataset[train] eval_dataset tokenized_dataset[test]步骤 4配置训练参数并开始训练from transformers import Trainer, DataCollatorForLanguageModeling training_args TrainingArguments( output_dir./qwen-1.8b-lora-sft, # 输出目录 per_device_train_batch_size4, # 根据显存调整8GB显存可能只能设2 gradient_accumulation_steps4, # 梯度累积模拟更大batch size num_train_epochs3, # 训练轮数 logging_steps10, save_steps200, evaluation_strategysteps, eval_steps200, learning_rate2e-4, # LoRA 学习率可以稍大 fp16True, # 使用混合精度训练节省显存 save_total_limit2, load_best_model_at_endTrue, report_tonone # 不报告给wandb等 ) data_collator DataCollatorForLanguageModeling(tokenizertokenizer, mlmFalse) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, data_collatordata_collator, ) print(开始训练...) trainer.train() print(训练完成) model.save_pretrained(./qwen-1.8b-lora-sft-final) # 保存 LoRA 权重关键观察点显存占用使用nvidia-smi监控训练过程中的显存。LoRA 微调 1.8B 模型batch_size2时显存占用可能在 6-10GB 左右具体取决于序列长度和优化器。训练日志关注训练损失和评估损失确保其平稳下降。保存的权重最终保存的只有 LoRA 的适配器权重通常只有几十 MB而不是整个模型几个 GB。5.4 加载与测试微调后的模型训练完成后你可以轻松加载基础模型和 LoRA 权重进行推理。from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from peft import PeftModel base_model_name Qwen/Qwen-1_8B-Chat lora_weights_path ./qwen-1.8b-lora-sft-final tokenizer AutoTokenizer.from_pretrained(base_model_name, trust_remote_codeTrue) base_model AutoModelForCausalLM.from_pretrained( base_model_name, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto, ) model PeftModel.from_pretrained(base_model, lora_weights_path) model model.merge_and_unload() # 可选将 LoRA 权重合并到基础模型中加速推理 pipe pipeline(text-generation, modelmodel, tokenizertokenizer, device0) # 测试 test_instruction 写一首关于秋天的诗。 prompt f|im_start|user\n{test_instruction}|im_end|\n|im_start|assistant\n result pipe(prompt, max_new_tokens150, do_sampleTrue, temperature0.7) print(result[0][generated_text])检查输出是否符合你在训练数据中定义的风格或格式。6. 资源占用与性能观察在整个流程中监控资源使用情况是保证稳定运行的关键。Embedding 模型服务显存bge-small-zh模型加载后GPU 显存占用约 1-2 GB。CPU/内存主要消耗在文本预处理和 HTTP 服务框架上。性能批量编码 (batch_encode) 速度远快于单条编码。可通过调整 API 服务的max_batch_size和max_concurrent_requests来优化吞吐。LangChain RAG 应用检索速度取决于向量数据库Chroma的索引规模和检索算法近似最近邻。首次加载数据库和模型会有开销。LLM 调用延迟如果使用远程 API如 OpenAI延迟受网络影响。如果使用本地 LLM则受本地 GPU 推理速度影响。内存LangChain 应用本身内存占用不大主要看加载的文档数量和向量索引大小。LoRA 微调训练显存峰值这是最主要的瓶颈。由以下因素决定模型参数量基础模型大小。训练批量大小 (per_device_train_batch_size)。序列最大长度 (max_length)。优化器状态使用 AdamW 会保存模型参数两倍的显存但bitsandbytes的 8-bit 优化器可缓解。降低显存技巧使用torch.float16(fp16) 或bfloat16。启用梯度检查点 (model.gradient_checkpointing_enable())。使用bitsandbytes库进行 4-bit/8-bit 量化加载模型。减小batch_size增加gradient_accumulation_steps。使用更小的 LoRArank(r)。磁盘 I/O频繁保存检查点可能会成为瓶颈尤其是使用网络存储时。可以适当减少save_steps。7. 常见问题与排查方法在实战中你可能会遇到以下典型问题。这里提供排查思路。问题现象可能原因排查方式解决方案ImportError: No module named ‘xxx’依赖包未安装或环境错误。检查当前 Python 环境使用pip list | grep xxx。在正确的虚拟环境中使用pip install安装缺失包。注意版本兼容性。CUDA out of memoryGPU 显存不足。运行nvidia-smi查看显存占用和进程。1. 减小batch_size。2. 使用梯度累积。3. 启用fp16/bf16。4. 使用内存更小的模型。5. 清理不必要的 GPU 缓存 (torch.cuda.empty_cache())。LangChain 调用本地 LLM 失败本地模型服务未启动或接口不兼容。检查模型服务进程是否运行端口是否监听测试其 API 接口。确保本地模型服务如 ollama, vLLM, FastChat已正确启动并按照其文档配置 LangChain 的LLM类。向量检索结果不相关1. Embedding 模型不适合领域。2. 文本切分策略不佳。3. 检索 top-k 值太小。1. 检查 Embedding 向量是否正常。2. 查看被检索到的原文块内容。3. 尝试不同的切分器chunk_size,chunk_overlap。1. 更换更匹配的 Embedding 模型如bge-large-zh。2. 调整切分参数使语义更完整。3. 增大search_kwargs{“k”: n}中的n。微调训练损失不下降或震荡1. 学习率设置不当。2. 数据质量差或有噪声。3. 数据格式与模型输入格式不匹配。1. 查看训练日志曲线。2. 检查少量训练样本的输入输出。3. 验证tokenize_function是否正确。1. 尝试更小的学习率如 1e-5。2. 清洗和检查训练数据。3. 参考模型官方文档确保指令模板正确。微调后模型输出乱码或退化1. 过拟合。2. 训练步数太多或学习率太大。3. 数据分布与预训练差异过大。1. 观察验证集损失是否先降后升。2. 在保留的测试集上评估。1. 早停early_stopping。2. 增加数据量或使用数据增强。3. 尝试全参数微调或调整 LoRA 的alpha和dropout。API 服务请求超时1. 模型推理速度慢。2. 请求队列阻塞。3. 网络问题。1. 在服务端日志中查看单次推理耗时。2. 检查服务器 CPU/GPU/内存负载。1. 优化模型量化、使用更小模型。2. 为 API 服务设置合理的超时和并发限制。3. 使用异步框架如 FastAPI并优化代码。8. 最佳实践与使用建议基于以上实战总结几条能帮你走得更稳的建议从小开始快速验证不要一开始就处理海量文档或微调超大模型。用 10-100 条高质量数据/文档跑通从 Embedding 到 RAG 问答或 LoRA 微调的全流程验证技术路线可行性。数据质量高于一切无论是 RAG 的源文档还是 SFT 的训练数据质量决定天花板。投入时间在数据清洗、去重和格式化上回报最高。版本化管理一切使用 Git 管理代码使用 DVC 或类似工具管理模型权重、数据集和向量数据库。记录每次实验的超参数、环境配置和结果。建立评估基准定义清晰的评估指标。对于 RAG可以是答案准确性、引用相关性。对于 SFT可以是任务特定的准确率、BLEU 分数或人工评估。没有评估优化就失去了方向。考虑混合策略RAG 和 SFT 不是互斥的。对于复杂系统可以先使用 RAG 快速赋予模型新知识再针对模型在特定任务上的不足使用 SFT 进行能力微调。安全与合规前置在项目启动前就明确数据来源的合法性、用户隐私的保护措施、模型生成内容的安全过滤机制如设置temperature0减少随机性添加后处理过滤器。从部署一个轻量级的 Embedding 模型开始到用 LangChain 搭建起可用的 RAG 流水线再到通过 LoRA 技术对开源大模型进行高效的私有化微调这条路径已经变得非常清晰且可执行。整个过程的核心在于理解每个组件的角色并做好资源与效果的平衡。最值得尝试的起点无疑是先搭建一个最小可用的 RAG 系统它能让你立刻感受到大模型与私有知识结合的力量。而在微调时首要关注数据质量与 LoRA 超参数的选择它们是效果好坏的关键。当你成功运行起第一个私有化的智能应用时你会发现从技术概念到落地产品之间的鸿沟正在被这些扎实的工具和实践一步步填平。