简介这份PDF资料聚焦北大团队推出的开源法律大模型Lawyer LLaMA面向对大模型垂直领域落地感兴趣的技术人员、法律科技从业者及AI学习者。内容系统梳理了该模型如何基于LLaMA架构通过法律知识注入、领域技能习得与信息检索减轻幻觉三个步骤构建出可充当私人法律顾问的中文法律大模型并对比BELLE、ChatGLM在概念解释、术语区分与实务咨询中的表现差异。资源包共1个PDF文件大小约3.38MB便于在移动端或桌面端直接阅读与收藏。目前已有450人学习浏览适合希望了解法律大模型架构设计、训练流程与应用边界的读者快速建立整体认知也可作为法律咨询、法律文书生成、法律信息检索等场景的技术选型参考。1. 法律大模型不是把法条塞进 Prompt 就完事很多人第一次接触法律 AI直觉做法是把《民法典》全文拼进上下文再让通用大模型回答。真跑一遍就会发现模型要么引用一条毫不相干的法条要么把“无效婚姻”和“可撤销婚姻”混成一回事。北大王选计算机研究所团队开源的 Lawyer LLaMA 正是冲着这个痛点来的它基于 LLaMA-7B先补中文能力再注入法律语料最后挂一个法条检索模块把“有法可依”做成生成流程的一部分。数据和模型权重全部开源意味着你可以本地拉起一套可复现的法律问答链路而不是只能看论文截图。适合谁想研究垂直领域微调、RAG 检索增强、以及法律科技落地的工程师尤其是需要一套能拆开看内部结构的参考实现的人。2. Lawyer LLaMA 的三段式训练管线与数据构造2.1 为什么通用大模型在法律场景会翻车法律文本对“精确表意”的要求远高于日常对话。定金与订金一字之差法律后果完全相反法人、法定代表人、法人代表三个词在非法律语境里常被混用但在合同纠纷里指向不同主体。通用模型在预训练阶段见到的法律语料占比极低导致两类典型错误一是术语混淆把日常语义直接套到法律概念上二是引用失准即便上下文里给了正确法条模型也会倾向于引用所有提供的条文而不区分哪条真正相关。作者团队把问题拆成三个必须满足的条件精确表意避免歧义、理解并区分法律术语、能结合实际情况做法律推理。这三个条件直接决定了后续训练管线的设计而不是先训了再说。2.2 四阶段训练流程s1 到 s12整体流程可以概括为四大步论文里用 s1、s4、s7、s12 标记关键节点阶段目标主要数据关键动作s1增强中文能力WuDaoCorpora、CLUECorpus2020、中文维基继续预训练 LLaMAs4法律知识注入法院文书、法律条文、司法解释、法庭新闻法律领域继续预训练s7下游任务微调JEC-QA 法考题、法律咨询数据监督微调ChatGPT 生成解释与回答s12法条检索增强律师标注的法条-问题对RoBERTa 检索器 生成时引用约束s1 阶段解决的是 LLaMA 原生中文能力弱的问题。直接用英文为主的 LLaMA 处理中文法律问题连基本语义都容易偏所以先补中文通用语料。s4 阶段才引入法律领域文本让模型在中文能力已经稳定的基础上吸收法律知识。这个顺序不能反否则法律语料的训练效率会被中文理解短板拖累。2.3 法考数据与咨询数据的构造差异JEC-QA 数据集包含 26365 个单选与多选问答对作者用它做“刷题训练”。但直接给答案不够模型需要理解解题过程所以用 ChatGPT 为每道题生成解释。法律咨询数据则更复杂收集约 16000 个单轮回答和 5000 个 2-3 轮对话构造时综合使用单轮与多轮对话、赋予 ChatGPT 律师角色、设计 Prompt 约束并要求正确引用法条。这里有一个值得注意的细节考试题和咨询题的数据分布并不相似。论文实验显示从 s0 到 s7法考概念辨析JE-C提升 3.9%情景规划JE-S提升 2.85%但引入咨询数据后这两项反而下降。说明垂直领域微调不是数据越多越好任务类型之间的干扰需要单独评估。# 法律咨询数据构造的简化示意基于论文描述的逻辑 # 注意这不是官方代码而是按论文流程还原的伪代码结构 def build_legal_consultation_data(questions, retriever, llm): questions: 原始法律咨询问题列表 retriever: 法条检索器返回与问题相关的法条 llm: 用于生成回答的模型训练时用 ChatGPT training_samples [] for q in questions: # 第一步检索相关法条最多保留 3 条 relevant_articles retriever.search(q, top_k3) # 第二步构造 Prompt要求引用法条并避免不相关内容 prompt f你是一名律师请根据以下法条回答问题。 参考法条 {chr(10).join(relevant_articles)} 注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。 问题{q} 回答 # 第三步生成回答保留法条引用 answer llm.generate(prompt) training_samples.append({ question: q, articles: relevant_articles, answer: answer }) return training_samples这段逻辑的核心在于“先检索、再生成”的顺序。检索器负责缩小法条范围生成器负责组织语言并引用。参数top_k3来自论文中律师标注最多 3 个必要法条的设定实际部署时可以根据问题复杂度调整但不宜过大否则模型会倾向于引用所有提供的条文。3. 法条检索模块RoBERTa 检索器与引用约束3.1 为什么需要独立的检索器论文里有一个反直觉的发现即使模型在训练中见过相关法条生成时仍然不会正确引用。它要么引用不相关条文要么错误替换法律概念。这说明“知道”和“会用”是两件事。作者的做法是训练一个独立的法条检索模型针对用户问题返回最相关的法条再把这些法条作为上下文提供给生成器。检索器基于 RoBERTa 训练在相关检索测试集上正确率达到 85%。训练数据来自专业律师标注每个咨询问题标注最多 3 个必要法条。这个标注成本不低但换来的是检索精度的大幅提升。3.2 检索器训练与推理的关键参数# RoBERTa 法条检索器训练的核心配置按论文描述还原 from transformers import RobertaForSequenceClassification, Trainer, TrainingArguments model RobertaForSequenceClassification.from_pretrained( hfl/chinese-roberta-wwm-ext, num_labels2 # 二分类相关 / 不相关 ) training_args TrainingArguments( output_dir./lawyer-retriever, learning_rate2e-5, # 检索任务常用学习率 per_device_train_batch_size16, num_train_epochs3, # 标注数据量有限不宜过多 warmup_ratio0.1, weight_decay0.01, logging_steps50, evaluation_strategysteps, eval_steps200, save_steps200, ) # 训练数据格式(问题, 法条) - 标签 0/1 # 正样本来自律师标注负样本从无关法条中采样 trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()学习率设为 2e-5 是 BERT 类模型微调的常见起点法律文本的术语密度高过大的学习率容易破坏预训练阶段学到的语义表示。num_train_epochs3是因为标注数据规模有限训练轮次过多会过拟合到标注风格上。负样本采样策略很关键如果负样本太容易区分检索器学不到细粒度判别能力如果负样本与正样本过于相似又会导致召回率下降。常见做法是从同一法律部门但不同条款中采样。3.3 生成阶段的引用约束 Prompt检索到法条后生成阶段还需要额外约束。论文里加入了一个关键 Prompt“参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。”同时训练时故意在上下文中混入不相关文章迫使模型学会忽略噪声。# 推理阶段的输入构造示例命令行拼接逻辑 # 实际部署时通常封装为 API 或本地推理脚本 问题夫妻共同财产包括哪些 检索到的法条《民法典》第1062条夫妻在婚姻关系存续期间所得的下列财产为夫妻共同财产…… 不相关法条《民法典》第1079条夫妻一方要求离婚的可以由有关组织进行调解…… # 构造生成输入 输入参考法条${检索到的法条}\n${不相关法条}\n注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。\n问题${问题}\n回答这个设计的巧妙之处在于它把“区分相关与不相关”变成模型必须完成的显式任务而不是指望模型自动学会。实际部署时检索器返回的 top-k 法条里难免有噪声这个 Prompt 能显著降低错误引用率。4. 本地复现 Lawyer LLaMA 的部署与验证4.1 环境准备与模型加载Lawyer LLaMA 的代码和模型权重已在 GitHub 开源仓库地址见论文链接。本地复现需要先确认硬件LLaMA-7B 全量微调需要多卡 A100 级别显存但推理阶段单卡 24GB 显存即可跑起来。如果显存有限常见做法是使用 4-bit 量化加载。# 克隆仓库并安装依赖 git clone https://github.com/AndrewZhe/lawyer-llama.git cd lawyer-llama pip install -r requirements.txt # 下载模型权重按仓库说明放置到指定目录 # 注意LLaMA 原始权重需要自行获取Lawyer LLaMA 的增量权重在仓库中提供依赖安装后重点检查 transformers 和 peft 的版本兼容性。LLaMA 系列模型对 transformers 版本敏感版本不匹配会出现加载权重时 key 不匹配的问题。我一般会先跑一个最小推理脚本验证模型能否正常加载再接入检索模块。4.2 推理脚本与参数说明# 最小推理示例加载 Lawyer LLaMA 并生成回答 from transformers import LlamaForCausalLM, LlamaTokenizer import torch model_path ./lawyer-llama-7b # 按实际路径修改 tokenizer LlamaTokenizer.from_pretrained(model_path) model LlamaForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, # 半精度推理节省显存 device_mapauto, # 自动分配多卡 ) def legal_qa(question, articlesNone): question: 用户法律问题 articles: 检索到的法条列表可为 None if articles: context \n.join(articles) prompt f参考法条\n{context}\n注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。\n问题{question}\n回答 else: prompt f问题{question}\n回答 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens512, # 法律回答通常较长但不宜超过 512 temperature0.3, # 低温度减少随机性法律场景需要稳定输出 top_p0.9, do_sampleTrue, repetition_penalty1.1, # 抑制重复引用同一法条 ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) # 测试 print(legal_qa(中国的法定结婚年龄是多少))temperature0.3是法律问答场景的常用值低于通用对话的 0.7-1.0。法律回答需要可复现、少发挥温度过高会导致同一问题两次回答引用不同法条。repetition_penalty1.1用于抑制模型反复引用同一条文这在长回答中比较常见。4.3 验证方法与常见失败模式验证 Lawyer LLaMA 是否正常工作不能只看一两个问题的回答。建议按论文的评估维度构造小测试集概念解释如“什么是夫妻共同财产”、概念辨析如“离婚与无效婚姻的区别”、法条引用给定法条后能否正确引用、实务咨询多轮对话中的上下文保持。常见失败模式包括检索器返回的法条与问题弱相关导致生成器引用错误条文多轮对话中模型丢失前文约束开始自由发挥以及中文法律术语的边界情况比如“应当”与“可以”在法律文本中的强制程度差异模型有时会混用。遇到引用错误时先检查检索器返回的 top-k 法条是否合理再检查生成 Prompt 是否包含了引用约束语句。如果检索器本身召回不准生成阶段再怎么约束也救不回来。5. 从 Lawyer LLaMA 到通用垂直领域微调的迁移技巧Lawyer LLaMA 的价值不止于法律问答。它的三段式管线——中文能力增强、领域知识注入、检索增强生成——可以迁移到医学、金融、税务等任何高门槛垂直领域。关键迁移点有三个。第一领域继续预训练的数据配比。法律语料中判决文书占比高医学语料中临床指南和病例报告占比高不同领域的文本风格差异很大。我一般会先用领域内通用文本做一轮继续预训练再用任务型数据做监督微调避免任务数据过早主导模型表示。第二检索模块的粒度选择。法律场景检索到“条”级别就够用但医学场景可能需要检索到“诊疗方案”或“药品说明书段落”级别。检索粒度太粗生成器拿到的上下文噪声大粒度太细检索器训练成本高。常见做法是先按文档结构切分再根据任务评估调整。第三引用约束的 Prompt 设计。Lawyer LLaMA 的“避免引用不相关文章”是一个通用模板迁移到其他领域时可以替换为领域特定的约束语句。比如医学场景可以写“请仅引用与当前症状直接相关的诊疗指南避免引用不相关疾病的内容”。这个 Prompt 不需要重新训练模型在推理阶段拼接即可生效是成本最低的改进手段。# 领域迁移时的 Prompt 模板参数化 DOMAIN_PROMPTS { legal: 注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。, medical: 注意请仅引用与当前症状直接相关的诊疗指南避免引用不相关疾病的内容。, finance: 注意请仅引用与当前业务场景直接相关的监管条款避免引用不相关业务的规定。, } def build_prompt(question, articles, domainlegal): context \n.join(articles) if articles else constraint DOMAIN_PROMPTS.get(domain, ) return f参考法条\n{context}\n{constraint}\n问题{question}\n回答这个参数化设计让同一套推理代码可以服务多个垂直领域只需要替换 Prompt 模板和检索器。实际落地时检索器需要按领域单独训练但生成模型如果已经具备该领域的基础知识可以复用同一套权重通过 Prompt 切换任务模式。对于资源有限的团队这是性价比最高的迁移路径。本文还有配套的精品资源点击获取 Lawyer LLaMA：法律大模型的三段式训练与法条检索增强
简介这份PDF资料聚焦北大团队推出的开源法律大模型Lawyer LLaMA面向对大模型垂直领域落地感兴趣的技术人员、法律科技从业者及AI学习者。内容系统梳理了该模型如何基于LLaMA架构通过法律知识注入、领域技能习得与信息检索减轻幻觉三个步骤构建出可充当私人法律顾问的中文法律大模型并对比BELLE、ChatGLM在概念解释、术语区分与实务咨询中的表现差异。资源包共1个PDF文件大小约3.38MB便于在移动端或桌面端直接阅读与收藏。目前已有450人学习浏览适合希望了解法律大模型架构设计、训练流程与应用边界的读者快速建立整体认知也可作为法律咨询、法律文书生成、法律信息检索等场景的技术选型参考。1. 法律大模型不是把法条塞进 Prompt 就完事很多人第一次接触法律 AI直觉做法是把《民法典》全文拼进上下文再让通用大模型回答。真跑一遍就会发现模型要么引用一条毫不相干的法条要么把“无效婚姻”和“可撤销婚姻”混成一回事。北大王选计算机研究所团队开源的 Lawyer LLaMA 正是冲着这个痛点来的它基于 LLaMA-7B先补中文能力再注入法律语料最后挂一个法条检索模块把“有法可依”做成生成流程的一部分。数据和模型权重全部开源意味着你可以本地拉起一套可复现的法律问答链路而不是只能看论文截图。适合谁想研究垂直领域微调、RAG 检索增强、以及法律科技落地的工程师尤其是需要一套能拆开看内部结构的参考实现的人。2. Lawyer LLaMA 的三段式训练管线与数据构造2.1 为什么通用大模型在法律场景会翻车法律文本对“精确表意”的要求远高于日常对话。定金与订金一字之差法律后果完全相反法人、法定代表人、法人代表三个词在非法律语境里常被混用但在合同纠纷里指向不同主体。通用模型在预训练阶段见到的法律语料占比极低导致两类典型错误一是术语混淆把日常语义直接套到法律概念上二是引用失准即便上下文里给了正确法条模型也会倾向于引用所有提供的条文而不区分哪条真正相关。作者团队把问题拆成三个必须满足的条件精确表意避免歧义、理解并区分法律术语、能结合实际情况做法律推理。这三个条件直接决定了后续训练管线的设计而不是先训了再说。2.2 四阶段训练流程s1 到 s12整体流程可以概括为四大步论文里用 s1、s4、s7、s12 标记关键节点阶段目标主要数据关键动作s1增强中文能力WuDaoCorpora、CLUECorpus2020、中文维基继续预训练 LLaMAs4法律知识注入法院文书、法律条文、司法解释、法庭新闻法律领域继续预训练s7下游任务微调JEC-QA 法考题、法律咨询数据监督微调ChatGPT 生成解释与回答s12法条检索增强律师标注的法条-问题对RoBERTa 检索器 生成时引用约束s1 阶段解决的是 LLaMA 原生中文能力弱的问题。直接用英文为主的 LLaMA 处理中文法律问题连基本语义都容易偏所以先补中文通用语料。s4 阶段才引入法律领域文本让模型在中文能力已经稳定的基础上吸收法律知识。这个顺序不能反否则法律语料的训练效率会被中文理解短板拖累。2.3 法考数据与咨询数据的构造差异JEC-QA 数据集包含 26365 个单选与多选问答对作者用它做“刷题训练”。但直接给答案不够模型需要理解解题过程所以用 ChatGPT 为每道题生成解释。法律咨询数据则更复杂收集约 16000 个单轮回答和 5000 个 2-3 轮对话构造时综合使用单轮与多轮对话、赋予 ChatGPT 律师角色、设计 Prompt 约束并要求正确引用法条。这里有一个值得注意的细节考试题和咨询题的数据分布并不相似。论文实验显示从 s0 到 s7法考概念辨析JE-C提升 3.9%情景规划JE-S提升 2.85%但引入咨询数据后这两项反而下降。说明垂直领域微调不是数据越多越好任务类型之间的干扰需要单独评估。# 法律咨询数据构造的简化示意基于论文描述的逻辑 # 注意这不是官方代码而是按论文流程还原的伪代码结构 def build_legal_consultation_data(questions, retriever, llm): questions: 原始法律咨询问题列表 retriever: 法条检索器返回与问题相关的法条 llm: 用于生成回答的模型训练时用 ChatGPT training_samples [] for q in questions: # 第一步检索相关法条最多保留 3 条 relevant_articles retriever.search(q, top_k3) # 第二步构造 Prompt要求引用法条并避免不相关内容 prompt f你是一名律师请根据以下法条回答问题。 参考法条 {chr(10).join(relevant_articles)} 注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。 问题{q} 回答 # 第三步生成回答保留法条引用 answer llm.generate(prompt) training_samples.append({ question: q, articles: relevant_articles, answer: answer }) return training_samples这段逻辑的核心在于“先检索、再生成”的顺序。检索器负责缩小法条范围生成器负责组织语言并引用。参数top_k3来自论文中律师标注最多 3 个必要法条的设定实际部署时可以根据问题复杂度调整但不宜过大否则模型会倾向于引用所有提供的条文。3. 法条检索模块RoBERTa 检索器与引用约束3.1 为什么需要独立的检索器论文里有一个反直觉的发现即使模型在训练中见过相关法条生成时仍然不会正确引用。它要么引用不相关条文要么错误替换法律概念。这说明“知道”和“会用”是两件事。作者的做法是训练一个独立的法条检索模型针对用户问题返回最相关的法条再把这些法条作为上下文提供给生成器。检索器基于 RoBERTa 训练在相关检索测试集上正确率达到 85%。训练数据来自专业律师标注每个咨询问题标注最多 3 个必要法条。这个标注成本不低但换来的是检索精度的大幅提升。3.2 检索器训练与推理的关键参数# RoBERTa 法条检索器训练的核心配置按论文描述还原 from transformers import RobertaForSequenceClassification, Trainer, TrainingArguments model RobertaForSequenceClassification.from_pretrained( hfl/chinese-roberta-wwm-ext, num_labels2 # 二分类相关 / 不相关 ) training_args TrainingArguments( output_dir./lawyer-retriever, learning_rate2e-5, # 检索任务常用学习率 per_device_train_batch_size16, num_train_epochs3, # 标注数据量有限不宜过多 warmup_ratio0.1, weight_decay0.01, logging_steps50, evaluation_strategysteps, eval_steps200, save_steps200, ) # 训练数据格式(问题, 法条) - 标签 0/1 # 正样本来自律师标注负样本从无关法条中采样 trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()学习率设为 2e-5 是 BERT 类模型微调的常见起点法律文本的术语密度高过大的学习率容易破坏预训练阶段学到的语义表示。num_train_epochs3是因为标注数据规模有限训练轮次过多会过拟合到标注风格上。负样本采样策略很关键如果负样本太容易区分检索器学不到细粒度判别能力如果负样本与正样本过于相似又会导致召回率下降。常见做法是从同一法律部门但不同条款中采样。3.3 生成阶段的引用约束 Prompt检索到法条后生成阶段还需要额外约束。论文里加入了一个关键 Prompt“参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。”同时训练时故意在上下文中混入不相关文章迫使模型学会忽略噪声。# 推理阶段的输入构造示例命令行拼接逻辑 # 实际部署时通常封装为 API 或本地推理脚本 问题夫妻共同财产包括哪些 检索到的法条《民法典》第1062条夫妻在婚姻关系存续期间所得的下列财产为夫妻共同财产…… 不相关法条《民法典》第1079条夫妻一方要求离婚的可以由有关组织进行调解…… # 构造生成输入 输入参考法条${检索到的法条}\n${不相关法条}\n注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。\n问题${问题}\n回答这个设计的巧妙之处在于它把“区分相关与不相关”变成模型必须完成的显式任务而不是指望模型自动学会。实际部署时检索器返回的 top-k 法条里难免有噪声这个 Prompt 能显著降低错误引用率。4. 本地复现 Lawyer LLaMA 的部署与验证4.1 环境准备与模型加载Lawyer LLaMA 的代码和模型权重已在 GitHub 开源仓库地址见论文链接。本地复现需要先确认硬件LLaMA-7B 全量微调需要多卡 A100 级别显存但推理阶段单卡 24GB 显存即可跑起来。如果显存有限常见做法是使用 4-bit 量化加载。# 克隆仓库并安装依赖 git clone https://github.com/AndrewZhe/lawyer-llama.git cd lawyer-llama pip install -r requirements.txt # 下载模型权重按仓库说明放置到指定目录 # 注意LLaMA 原始权重需要自行获取Lawyer LLaMA 的增量权重在仓库中提供依赖安装后重点检查 transformers 和 peft 的版本兼容性。LLaMA 系列模型对 transformers 版本敏感版本不匹配会出现加载权重时 key 不匹配的问题。我一般会先跑一个最小推理脚本验证模型能否正常加载再接入检索模块。4.2 推理脚本与参数说明# 最小推理示例加载 Lawyer LLaMA 并生成回答 from transformers import LlamaForCausalLM, LlamaTokenizer import torch model_path ./lawyer-llama-7b # 按实际路径修改 tokenizer LlamaTokenizer.from_pretrained(model_path) model LlamaForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, # 半精度推理节省显存 device_mapauto, # 自动分配多卡 ) def legal_qa(question, articlesNone): question: 用户法律问题 articles: 检索到的法条列表可为 None if articles: context \n.join(articles) prompt f参考法条\n{context}\n注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。\n问题{question}\n回答 else: prompt f问题{question}\n回答 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens512, # 法律回答通常较长但不宜超过 512 temperature0.3, # 低温度减少随机性法律场景需要稳定输出 top_p0.9, do_sampleTrue, repetition_penalty1.1, # 抑制重复引用同一法条 ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) # 测试 print(legal_qa(中国的法定结婚年龄是多少))temperature0.3是法律问答场景的常用值低于通用对话的 0.7-1.0。法律回答需要可复现、少发挥温度过高会导致同一问题两次回答引用不同法条。repetition_penalty1.1用于抑制模型反复引用同一条文这在长回答中比较常见。4.3 验证方法与常见失败模式验证 Lawyer LLaMA 是否正常工作不能只看一两个问题的回答。建议按论文的评估维度构造小测试集概念解释如“什么是夫妻共同财产”、概念辨析如“离婚与无效婚姻的区别”、法条引用给定法条后能否正确引用、实务咨询多轮对话中的上下文保持。常见失败模式包括检索器返回的法条与问题弱相关导致生成器引用错误条文多轮对话中模型丢失前文约束开始自由发挥以及中文法律术语的边界情况比如“应当”与“可以”在法律文本中的强制程度差异模型有时会混用。遇到引用错误时先检查检索器返回的 top-k 法条是否合理再检查生成 Prompt 是否包含了引用约束语句。如果检索器本身召回不准生成阶段再怎么约束也救不回来。5. 从 Lawyer LLaMA 到通用垂直领域微调的迁移技巧Lawyer LLaMA 的价值不止于法律问答。它的三段式管线——中文能力增强、领域知识注入、检索增强生成——可以迁移到医学、金融、税务等任何高门槛垂直领域。关键迁移点有三个。第一领域继续预训练的数据配比。法律语料中判决文书占比高医学语料中临床指南和病例报告占比高不同领域的文本风格差异很大。我一般会先用领域内通用文本做一轮继续预训练再用任务型数据做监督微调避免任务数据过早主导模型表示。第二检索模块的粒度选择。法律场景检索到“条”级别就够用但医学场景可能需要检索到“诊疗方案”或“药品说明书段落”级别。检索粒度太粗生成器拿到的上下文噪声大粒度太细检索器训练成本高。常见做法是先按文档结构切分再根据任务评估调整。第三引用约束的 Prompt 设计。Lawyer LLaMA 的“避免引用不相关文章”是一个通用模板迁移到其他领域时可以替换为领域特定的约束语句。比如医学场景可以写“请仅引用与当前症状直接相关的诊疗指南避免引用不相关疾病的内容”。这个 Prompt 不需要重新训练模型在推理阶段拼接即可生效是成本最低的改进手段。# 领域迁移时的 Prompt 模板参数化 DOMAIN_PROMPTS { legal: 注意参考文献中可能有不相关的内容请避免在回复时引用那些不相关的文章。, medical: 注意请仅引用与当前症状直接相关的诊疗指南避免引用不相关疾病的内容。, finance: 注意请仅引用与当前业务场景直接相关的监管条款避免引用不相关业务的规定。, } def build_prompt(question, articles, domainlegal): context \n.join(articles) if articles else constraint DOMAIN_PROMPTS.get(domain, ) return f参考法条\n{context}\n{constraint}\n问题{question}\n回答这个参数化设计让同一套推理代码可以服务多个垂直领域只需要替换 Prompt 模板和检索器。实际落地时检索器需要按领域单独训练但生成模型如果已经具备该领域的基础知识可以复用同一套权重通过 Prompt 切换任务模式。对于资源有限的团队这是性价比最高的迁移路径。本文还有配套的精品资源点击获取