简介面向自然语言处理研究者和工程师的Qwen3全参数微调实战资料以医学对话模型为案例系统讲解从环境搭建、数据集准备、模型加载、训练配置到结果验证的完整流程。内容基于Transformer架构深入分析全参数微调的核心原理、算力要求及过拟合应对策略并展示如何用SwanLab实时监控loss与学习率最终训练出具备‘先思考再回答’能力的医学对话系统。资源为一篇docx格式技术文档仅1个文件约191KB文档内附完整训练代码、推理代码及可调参数说明可直接对照实践。已有233人学习浏览适合具备一定Python和机器学习基础、希望深入掌握大模型微调技术的研究人员与工程师。通过该资料可掌握预训练模型选型、全参数微调技术细节、SwanLab训练监控优化方法并能够动手构建面向医学领域的智能对话模型为后续垂直领域微调提供参考。1. 通用问答够用但医学对话不行为什么我把 Qwen3 做了 Transformer 全参微调通用大模型能做医学问答但做不了医学对话——分诊、用药咨询、病史采集这些场景要求模型在术语使用、风险提示和边界回应上有稳定行为而不是偶尔编出一个不存在的药品名。在自然语言处理NLP项目里我踩过 LoRA 的甜头也吃过它的亏最后在医学对话这个任务上选了 Transformer 全参微调 Qwen3。这篇笔记把选型理由、数据加工、训练参数和翻车记录完整拆开适合手里有标注对话数据、有 GPU 预算、想把 Qwen3 打磨成垂直医疗助手的团队。读完你能直接照着一套可运行的脚本把全参微调流程跑通也知道哪些环节不值得折腾。2. Qwen3 选型与全参微调前置条件显存账怎么算、LoRA 为什么让位2.1 Qwen3 各尺寸对比与选型依据Qwen3 从 0.6B、1.7B、4B 一路到 14B、32B还有 MoE 结构的大尺寸版本但做全参微调时我只考虑 dense 的中小档。全参微调的显存大头不是模型本身而是优化器状态每个参数在 bf16 训练下至少要同时放权重2 字节、梯度2 字节、fp32 主权重4 字节和 Adam 的 m/v各 4 字节粗算一个参数要吃掉约 16 字节。也就是说 Qwen3-4B 光权重和优化器状态就要 64GB 左右激活值还要另留两到三成余量。模型参数量全参微调显存粗估bf16 梯度检查点我给出的定位Qwen3-0.6B6 亿约 12GB数据 pipeline 冒烟验证Qwen3-1.7B17 亿约 30GB单卡快速迭代试验Qwen3-4B40 亿约 70GB医学对话主力选择Qwen3-14B140 亿240GB 以上必须多卡 ZeRO/offload表格里的数字是加上激活值余量之后的经验值不是精确值实际会随 batch 和序列长度浮动。你也可以自己算模型部分显存 参数量 × 16 字节 × 1.3含激活余量拿 Qwen3-4B 代入就是 4×10⁹ × 16 × 1.3 ≈ 83GB和我在 A100 上看到的实际占用基本吻合。网络上有大量 Qwen3 0.6B 微调教程跑起来也确实快但我的血泪经验是0.6B 全参微调后医学术语召回率明显偏低分诊建议会把“右下腹隐痛”这样的典型外科主诉往消化内科推这类对实体关系敏感的垂直场景模型容量不够就是不够。4B 是性价比最稳的一档一张 A100 80G 或两张 4090 就能跑训练时间也在可接受范围。如果你的数据量只有几千条14B 全参的收益会被过拟合吃掉成本却翻好几倍并不划算。2.2 全参微调 vs LoRA医学对话不做低秩适配的理由LoRA 几乎是当前微调工具的默认选项LLaMA-Factory 这类框架打开也是 LoRA 优先。它的思路是把权重更新约束在低秩矩阵里训练时冻结原权重显存省一大半。这个方案在“通用模型已经足够好、只需要调风格和少量指令”的场景里非常能打我做过对话风格迁移、摘要格式调整LoRA 都是首选快速验证 prompt 模板时尤其香。但医学对话不是风格问题是知识权重问题。分诊建议、用药禁忌、剂量判断这些能力不是靠几条指令能“唤醒”的它们需要模型真正改变 attention 分布和 FFN 层的实体关联。LoRA 的低秩假设在数据量变大后会变成瓶颈秩不够更新空间被压住训练 loss 降不下去生成结果停在“像模像样但不精准”的水平。全参微调让每一层权重都参与梯度更新医学数据对模型的影响是全量写入的代价是 3 到 4 倍显存和更长训练周期换来的是领域行为更稳定、幻觉更少。我一般这样切分数据预处理和 prompt 模板试验用 LoRA 快速跑确认方向后正式训练切全参。2.3 环境与框架选型原生 Transformers 还是 LLaMA-Factory先说框架。微调工具框架选型时LLaMA-Factory 对 LoRA 的支持很成熟但做全参微调我反而建议用原生 Transformers Trainer。原因很实在全参微调没有 adapter 合并、没有 rank 选择封装层能省的操作不多而你大概率需要自定义 loss mask、插回调、改数据流这些在 Trainer 里透明可控。# 推荐 Python 3.10 CUDA 12.1 pip install torch2.3.1 transformers4.43.0 accelerate datasets pip install swanlab deepspeedtransformers 版本要足够新才能正确识别 Qwen3 的 chat template 和特殊 token4.43 是我这边验证过能正常加载 Qwen3 的版本线。deepspeed 不是必须的单卡小 batch 跑 4B 可以不用如果要多卡并行或做 ZeRO-2 显存优化提前装好能少折腾半天。swanlab 用于训练监控第 4 章会讲怎么接。装完先跑一个加载测试确认模型权重能载入、tokenizer 不报错再继续训练。很多人一上来就卡在 flash-attention 编译失败一小时其实它只是提速和减显存的优化项跑通流程可以先去配置后面再补。注意全参微调不依赖 peft这是和 LoRA 流程最大的区别习惯性把 peft 装上结果不 freeze 也不加 adapter等于白装。3. 医学对话数据加工把问诊记录转成 Qwen3 认识的 ChatML 格式3.1 数据来源、脱敏与清洗基线医学对话数据一般来自三类门诊问诊记录、药品咨询 QA、公开医学问答集。无论来源是哪一类第一步都是去标识化。这里说的不只是删姓名身份证号、手机号、医院名、主治医生工号都要替换成占位符否则训练出的模型可能在回答里“回忆”出真实患者信息这是合规红线不能省。from datasets import Dataset def clean_sample(raw): # 脱敏把真实患者信息替换为占位符 text (raw[question] .replace(raw.get(name, ), 患者) .replace(raw.get(hospital, ), 某医院)) # 统一专业术语写法避免同一概念多种表述 text text.replace(阿莫西林胶囊, 阿莫西林) return {query: text, answer: raw[answer]} raw_list [...] # 原始问诊记录 ds Dataset.from_list(raw_list).map(clean_sample)逻辑说明.replace链条做的是粗清洗把实体替换为占位符术语统一这一步很关键医学文本里“阿莫西林胶囊”“阿莫克拉”“羟氨苄青霉素”可能是同一个实体不统一会让模型学得稀碎。参数上没太多可调核心是把规则写在清洗函数里跑完打印 20 条样本肉眼检查一遍。清洗基线我一般卡三条去掉空答案样本、去掉纯表格类无法转成对话的样本、按文本归一化后做精确去重。医学数据重复率比想象中高同一份指南会被不同医院抄来抄去不先去重训练集的有效 diversity 会被高估 30% 以上。3.2 用 ChatML 模板结构化对话并做答案 maskQwen3 的对话格式是 ChatML用|im_start|和|im_end|分隔 role 与内容。训练样本必须是完整的多轮结构system 里写医学边界约束user 放主诉或提问assistant 放标准答复。这里有个新手常忽略的点训练时add_generation_prompt必须为 False否则会在 assistant 位置多出一个空的生成提示导致 labels 错位。SYSTEM_PROMPT 你是一位临床医学助手回答基于循证医学对不确定的信息必须明确说不知道不得编造药品名和剂量。 def to_chatml(sample): messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: sample[query]}, {role: assistant, content: sample[answer]}, ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse, # 训练样本不需要生成提示 ) return {text: text}逻辑说明先把结构化的 query/answer 拼成 ChatML 文本再交由 tokenizer 统一处理。tokenizeFalse表示只做模板拼接不真正分词实际分词在下一步做这样方便检查模板是否正常。Qwen3 的 tokenizer 会把|im_start|识别为单个特殊 token所以模板字符串不会被打散。训练时不能对整段文本都算 loss否则模型会把 system 和 user 的内容也背下来生成时容易串话。标准做法是对非 assistant 部分做 maskdef tokenize_with_mask(sample): sys_tokens tokenizer.encode(|im_start|system\n SYSTEM_PROMPT |im_end|\n) user_tokens tokenizer.encode(|im_start|user\n sample[query] |im_end|\n) asst_tokens tokenizer.encode(|im_start|assistant\n sample[answer] |im_end|) input_ids sys_tokens user_tokens asst_tokens [tokenizer.eos_token_id] # 只有 assistant 部分参与 loss 计算其余置为 -100 labels [-100] * (len(sys_tokens) len(user_tokens)) asst_tokens [tokenizer.eos_token_id] return {input_ids: input_ids, labels: labels, attention_mask: [1] * len(input_ids)}这里为了把 mask 逻辑讲清楚我直接手写模板生产环境可以先用apply_chat_template得到整段文本再按 assistant 消息的 token 偏移量去构造 labels效果等价但手写版更好调试。参数说明-100是 PyTorch CrossEntropyLoss 的默认忽略值Trainer 会自动跳过这些位置的梯度计算eos_token_id加到末尾是为了让模型学会在答复结束时自然收尾而不是无限生成。3.3 长度分布、切分与数据量红线数据切分在对话会话级别做不能按句子随机切。同一个患者的病情描述和后续追问如果一半进训练一半进测试评估分数会虚高等于开卷考试。我一般按患者 ID 或会话 ID 分桶80% 训练、20% 验证同时打印长度分布看有多少样本超过 max_length。import numpy as np def analyze_lengths(ds_tokenized): lengths [len(x[input_ids]) for x in ds_tokenized] print(p50:, int(np.median(lengths)), p90:, int(np.percentile(lengths, 90)), max:, max(lengths)) return lengths lengths analyze_lengths(ds_tokenized)逻辑说明p90 是判断 max_length 该设多少的关键指标。如果 p90 已经接近 2048说明截断会砍掉大量答案的尾部训练出来的模型回复往往是“半句话”这时应该先拆样本比如把长问答拆成多轮短对话而不是盲目调大 max_length 硬吃显存。数据量上我的红线是全参微调医学对话至少两万条有效样本起步五千条以下先扩数据或改用 LoRA否则全参只会把噪声也背下来。4. 全参微调训练实战Transformers 脚本与 SwanLab 全程监控4.1 训练脚本主体与加载逻辑训练脚本的核心是全参加载 → 开梯度检查点 → Trainer 配置 → 接 SwanLab 回调。全参微调不需要任何 adapters模型加载后调用model.train()保证所有参数参与更新这一点和 LoRA 流程有本质区别。import torch import swanlab from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq ) from swanlab.integration.huggingface import SwanLabCallback MODEL_ID Qwen/Qwen3-4B tokenizer AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_ID, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue, ) model.train() # 全参微调全部参数更新不冻结 model.gradient_checkpointing_enable() # 用重计算换显存 training_args TrainingArguments( output_dir./qwen3-med-chk, per_device_train_batch_size2, gradient_accumulation_steps8, learning_rate1e-5, num_train_epochs3, lr_scheduler_typecosine, warmup_ratio0.03, bf16True, logging_steps10, eval_strategysteps, eval_steps200, save_strategyepoch, save_total_limit2, gradient_checkpointingTrue, optimadamw_torch, ) swanlab.init(projectqwen3-med, configtraining_args.to_dict()) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_ds, eval_dataseteval_ds, data_collatorDataCollatorForSeq2Seq(tokenizer, paddingTrue, label_pad_token_id-100), callbacks[SwanLabCallback()], ) trainer.train()逻辑说明device_mapauto让模型自动分布到可用显存单卡 A100 80G 刚好装下 Qwen3-4B 的权重和优化器状态gradient_checkpointing_enable()牺牲约 20% 训练速度换取激活值显存大幅下降这两行是全参微调能跑起来的前提。bf16True在 A100/H100 上比 fp16 更稳Loss 不会因为精度不足在后期抖动。DataCollatorForSeq2Seq负责把一个 batch 内不等长的样本 pad 到同一长度label_pad_token_id-100保证 padding 部分不参与 loss 计算和前面构造 labels 时用的 -100 是配套的。4.2 关键超参数解读与调整顺序参数我常用的值作用调整优先级learning_rate1e-5全参比 LoRA 低一个量级太高必崩第一优先per_device_train_batch_size2受显存约束4B 模型单卡不建议超过 4第二优先gradient_accumulation_steps8等效 batch 2×8×GPU数配合 batch 调num_train_epochs3医学对话 3 轮足够多了必过拟合看 eval losswarmup_ratio0.03让 lr 爬坡稳定前期 loss固定即可lr_scheduler_typecosine后期平滑衰减固定即可等效 batch 的算式是per_device_train_batch_size × gradient_accumulation_steps × 卡数上面配置在单卡下等效 batch 为 16这个量级对 4B 全参微调是安全的。调参顺序我一般固定为先定 learning_rate再压 batch 适配显存最后用 epoch 轮次控制过拟合。全参微调的学习率不要照抄 LoRA 的 2e-4 量级那是低秩适配的特权全参更新的是完整权重矩阵1e-5 起步、最大不要超过 2e-5这是大模型微调实战里最容易被忽视的翻车点。4.3 SwanLab 监控看什么、什么时候该停SwanLab 接进 Trainer 后每个 logging step 会自动记录 loss、learning_rate、grad_norm 和显存占用训练过程中打开网页面板就能看到实时曲线。我监控时只看四个信号。第一是 grad_norm正常全参微调的梯度范数应该在一到两个数量级内波动如果出现突然冲到 100 以上的尖峰大概率是某条训练样本里有异常长的特殊 token 序列或标签错位应该暂停排查数据。第二是 train loss 与 eval loss 的间距两者一直贴在一起说明模型还在学间距拉大且 eval 不再下降就是过拟合信号。第三是学习率曲线warmup 段 loss 不降是正常的不要看到前 100 步没动静就杀训练。第四是显存占用曲线稳定后不要随便加 batch全参微调 OOM 往往发生在 batch 翻倍的瞬间。SwanLab 还有一个好处是能把多个实验的曲线叠在一起比换数据清洗规则、换学习率时我就不用翻终端日志了直接看同一面板上的对比曲线决定取舍。训练收敛后我不会立刻收工而是用验证集抽 20 条 prompt 做一次生成检查确认模型输出不再是训练前的通用话术再进入下一章推理验证。5. 全参微调避坑排查五个让我返工的真实翻车现场5.1 刚起跑就 CUDA out of memory现象Trainer 打印完第一条日志就报显存不足进程直接退出。原因全参微调每个参数要放权重、梯度、fp32 主权重和 Adam 的 m/vQwen3-4B 在 40G 单卡上根本没地方放优化器状态跟 batch size 关系不大。解决先开gradient_checkpointingTrue再把per_device_train_batch_size降到 1靠gradient_accumulation_steps16补等效 batch还不行就上 DeepSpeed ZeRO-2 或 CPU offload让优化器状态分片到多卡或内存。5.2 医学能力上去了通用能力崩了现象训练 3 个 epoch 后分诊答得漂亮让它写一段普通摘要却开始胡言乱语连基本的中文表达都变形。原因这是典型的灾难性遗忘。全参微调把所有注意力权重推向医学分布原有多语言通用知识被覆盖学习率给到 2e-5 以上、epoch 跑到 5 都会加速这个过程。解决学习率降到 5e-6 到 1e-5epoch 控制在 2 到 3训练集里混入 10% 到 20% 的通用指令数据兜底。我踩过一次之后通用数据混合比例就成了固定配置不再单独跑纯医学数据。5.3 loss 在降、回答却不变现象训练 loss 稳定降到 0.8 以下eval loss 也漂亮但推理时模型还是输出模板化的空话像完全没学过医学内容。原因截断或 mask 配置出了问题。最常见的是样本在max_length处被硬截断答案后半段被砍光模型学到的是残缺文本补全另一个可能是 system 和 user 部分没被 maskloss 大量压在非答案 token 上模型学会了预测问句而不是答复。解决用第 3 章的长度统计看 p90把超长样本先拆短打印一条 tokenize 后的 labels人工确认 assistant 区间是否真的标成了真实 token id 而不是 -100。这两个检查做完问题基本自愈。5.4 复读机与编造药品名现象同一个分诊问题每次都回几乎一样的句子还会正儿八经地编出不存在的药品名语气还很笃定。原因数据同质化严重加过拟合模型把少数几条高频模板背下来了推理侧温度设得太低也会放大这个问题temperature0 时采样变成贪心专门挑训练集里出现最多的那条路走。解决训练侧做数据多样化和早停验证 loss 连续三轮不降就停推理侧把temperature提到 0.5 左右、打开repetition_penalty1.05同时在 system 里强制“无法确认的信息必须明说”。生成参数不是玄学它是过拟合的最后一层缓冲。5.5 贪便宜换 0.6B效果断崖现象为了省显存把模型换成 Qwen3-0.6B同样数据同样流程跑完分诊准确率掉了一大截。原因0.6B 的容量装不下医学实体之间的复杂关系全参微调能改变权重分布但补不了模型容量。小模型把典型场景背熟没问题遇到边界病例就现原形。解决把 0.6B 定位成数据 pipeline 的冒烟验证模型专门用来测模板、测 mask、测清洗规则有没有 bug正式训练直接 4B 起步。用 0.6B 省下的显存最后都会变成调数据的加班时间还回去。6. 推理验证与落地生成参数、评估口径与固定流程6.1 生成参数与评估口径全参微调产出的 checkpoint 可以直接加载做推理不需要任何 adapter 合并步骤。医学对话的生成参数我固定一套基线参数建议值说明temperature0.4~0.7太低变复读机太高开始编药名top_p0.85~0.95与 temperature 搭配别单独拉满repetition_penalty1.03~1.1抑制模板句复读max_new_tokens200~300医学答复不宜过长超过 300 大多是废话prompt 患者自述右下腹隐痛两天伴恶心没有发热应该挂什么科 messages [ {role: system, content: 你是一位临床医学助手回答基于循证医学对不确定的信息必须明确说不知道。}, {role: user, content: prompt}, ] inputs tokenizer.apply_chat_template(messages, tokenizeTrue, add_generation_promptTrue, return_tensorspt).to(cuda) out model.generate(inputs, max_new_tokens256, temperature0.5, top_p0.9, repetition_penalty1.05) print(tokenizer.decode(out[0], skip_special_tokensTrue))评估我不会只看 ROUGE医学对话的“对”不是字面相似。我会固定留出 100 条真实分诊咨询按三个维度人工打分回答是否越过安全边界、术语是否准确、信息是否完整。ROUGE 只作为定量参考真正的验收标准是人工分。6.2 部署与我的固定流程全参微调的最大落地优势在这里save_pretrained保存下来的就是完整权重部署服务用 vLLM 直接加载省掉 LoRA 那套合并 adapter 的步骤。vllm serve ./qwen3-med-chk/epoch_3 --served-model-name qwen3-med --max-model-len 8192从那以后我每次做全参微调都强制先跑一遍最小步数冒烟测试加载模型、跑 30 步、确认 loss 真在下降、抽一条生成看输出真在变化再挂长训练评估集也固定留好不临时抽样本防止自己给结果放水。这套流程帮我少踩了不少坑希望帮到你。本文还有配套的精品资源点击获取 Qwen3全参微调实战：打造精准医学对话助手
简介面向自然语言处理研究者和工程师的Qwen3全参数微调实战资料以医学对话模型为案例系统讲解从环境搭建、数据集准备、模型加载、训练配置到结果验证的完整流程。内容基于Transformer架构深入分析全参数微调的核心原理、算力要求及过拟合应对策略并展示如何用SwanLab实时监控loss与学习率最终训练出具备‘先思考再回答’能力的医学对话系统。资源为一篇docx格式技术文档仅1个文件约191KB文档内附完整训练代码、推理代码及可调参数说明可直接对照实践。已有233人学习浏览适合具备一定Python和机器学习基础、希望深入掌握大模型微调技术的研究人员与工程师。通过该资料可掌握预训练模型选型、全参数微调技术细节、SwanLab训练监控优化方法并能够动手构建面向医学领域的智能对话模型为后续垂直领域微调提供参考。1. 通用问答够用但医学对话不行为什么我把 Qwen3 做了 Transformer 全参微调通用大模型能做医学问答但做不了医学对话——分诊、用药咨询、病史采集这些场景要求模型在术语使用、风险提示和边界回应上有稳定行为而不是偶尔编出一个不存在的药品名。在自然语言处理NLP项目里我踩过 LoRA 的甜头也吃过它的亏最后在医学对话这个任务上选了 Transformer 全参微调 Qwen3。这篇笔记把选型理由、数据加工、训练参数和翻车记录完整拆开适合手里有标注对话数据、有 GPU 预算、想把 Qwen3 打磨成垂直医疗助手的团队。读完你能直接照着一套可运行的脚本把全参微调流程跑通也知道哪些环节不值得折腾。2. Qwen3 选型与全参微调前置条件显存账怎么算、LoRA 为什么让位2.1 Qwen3 各尺寸对比与选型依据Qwen3 从 0.6B、1.7B、4B 一路到 14B、32B还有 MoE 结构的大尺寸版本但做全参微调时我只考虑 dense 的中小档。全参微调的显存大头不是模型本身而是优化器状态每个参数在 bf16 训练下至少要同时放权重2 字节、梯度2 字节、fp32 主权重4 字节和 Adam 的 m/v各 4 字节粗算一个参数要吃掉约 16 字节。也就是说 Qwen3-4B 光权重和优化器状态就要 64GB 左右激活值还要另留两到三成余量。模型参数量全参微调显存粗估bf16 梯度检查点我给出的定位Qwen3-0.6B6 亿约 12GB数据 pipeline 冒烟验证Qwen3-1.7B17 亿约 30GB单卡快速迭代试验Qwen3-4B40 亿约 70GB医学对话主力选择Qwen3-14B140 亿240GB 以上必须多卡 ZeRO/offload表格里的数字是加上激活值余量之后的经验值不是精确值实际会随 batch 和序列长度浮动。你也可以自己算模型部分显存 参数量 × 16 字节 × 1.3含激活余量拿 Qwen3-4B 代入就是 4×10⁹ × 16 × 1.3 ≈ 83GB和我在 A100 上看到的实际占用基本吻合。网络上有大量 Qwen3 0.6B 微调教程跑起来也确实快但我的血泪经验是0.6B 全参微调后医学术语召回率明显偏低分诊建议会把“右下腹隐痛”这样的典型外科主诉往消化内科推这类对实体关系敏感的垂直场景模型容量不够就是不够。4B 是性价比最稳的一档一张 A100 80G 或两张 4090 就能跑训练时间也在可接受范围。如果你的数据量只有几千条14B 全参的收益会被过拟合吃掉成本却翻好几倍并不划算。2.2 全参微调 vs LoRA医学对话不做低秩适配的理由LoRA 几乎是当前微调工具的默认选项LLaMA-Factory 这类框架打开也是 LoRA 优先。它的思路是把权重更新约束在低秩矩阵里训练时冻结原权重显存省一大半。这个方案在“通用模型已经足够好、只需要调风格和少量指令”的场景里非常能打我做过对话风格迁移、摘要格式调整LoRA 都是首选快速验证 prompt 模板时尤其香。但医学对话不是风格问题是知识权重问题。分诊建议、用药禁忌、剂量判断这些能力不是靠几条指令能“唤醒”的它们需要模型真正改变 attention 分布和 FFN 层的实体关联。LoRA 的低秩假设在数据量变大后会变成瓶颈秩不够更新空间被压住训练 loss 降不下去生成结果停在“像模像样但不精准”的水平。全参微调让每一层权重都参与梯度更新医学数据对模型的影响是全量写入的代价是 3 到 4 倍显存和更长训练周期换来的是领域行为更稳定、幻觉更少。我一般这样切分数据预处理和 prompt 模板试验用 LoRA 快速跑确认方向后正式训练切全参。2.3 环境与框架选型原生 Transformers 还是 LLaMA-Factory先说框架。微调工具框架选型时LLaMA-Factory 对 LoRA 的支持很成熟但做全参微调我反而建议用原生 Transformers Trainer。原因很实在全参微调没有 adapter 合并、没有 rank 选择封装层能省的操作不多而你大概率需要自定义 loss mask、插回调、改数据流这些在 Trainer 里透明可控。# 推荐 Python 3.10 CUDA 12.1 pip install torch2.3.1 transformers4.43.0 accelerate datasets pip install swanlab deepspeedtransformers 版本要足够新才能正确识别 Qwen3 的 chat template 和特殊 token4.43 是我这边验证过能正常加载 Qwen3 的版本线。deepspeed 不是必须的单卡小 batch 跑 4B 可以不用如果要多卡并行或做 ZeRO-2 显存优化提前装好能少折腾半天。swanlab 用于训练监控第 4 章会讲怎么接。装完先跑一个加载测试确认模型权重能载入、tokenizer 不报错再继续训练。很多人一上来就卡在 flash-attention 编译失败一小时其实它只是提速和减显存的优化项跑通流程可以先去配置后面再补。注意全参微调不依赖 peft这是和 LoRA 流程最大的区别习惯性把 peft 装上结果不 freeze 也不加 adapter等于白装。3. 医学对话数据加工把问诊记录转成 Qwen3 认识的 ChatML 格式3.1 数据来源、脱敏与清洗基线医学对话数据一般来自三类门诊问诊记录、药品咨询 QA、公开医学问答集。无论来源是哪一类第一步都是去标识化。这里说的不只是删姓名身份证号、手机号、医院名、主治医生工号都要替换成占位符否则训练出的模型可能在回答里“回忆”出真实患者信息这是合规红线不能省。from datasets import Dataset def clean_sample(raw): # 脱敏把真实患者信息替换为占位符 text (raw[question] .replace(raw.get(name, ), 患者) .replace(raw.get(hospital, ), 某医院)) # 统一专业术语写法避免同一概念多种表述 text text.replace(阿莫西林胶囊, 阿莫西林) return {query: text, answer: raw[answer]} raw_list [...] # 原始问诊记录 ds Dataset.from_list(raw_list).map(clean_sample)逻辑说明.replace链条做的是粗清洗把实体替换为占位符术语统一这一步很关键医学文本里“阿莫西林胶囊”“阿莫克拉”“羟氨苄青霉素”可能是同一个实体不统一会让模型学得稀碎。参数上没太多可调核心是把规则写在清洗函数里跑完打印 20 条样本肉眼检查一遍。清洗基线我一般卡三条去掉空答案样本、去掉纯表格类无法转成对话的样本、按文本归一化后做精确去重。医学数据重复率比想象中高同一份指南会被不同医院抄来抄去不先去重训练集的有效 diversity 会被高估 30% 以上。3.2 用 ChatML 模板结构化对话并做答案 maskQwen3 的对话格式是 ChatML用|im_start|和|im_end|分隔 role 与内容。训练样本必须是完整的多轮结构system 里写医学边界约束user 放主诉或提问assistant 放标准答复。这里有个新手常忽略的点训练时add_generation_prompt必须为 False否则会在 assistant 位置多出一个空的生成提示导致 labels 错位。SYSTEM_PROMPT 你是一位临床医学助手回答基于循证医学对不确定的信息必须明确说不知道不得编造药品名和剂量。 def to_chatml(sample): messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: sample[query]}, {role: assistant, content: sample[answer]}, ] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse, # 训练样本不需要生成提示 ) return {text: text}逻辑说明先把结构化的 query/answer 拼成 ChatML 文本再交由 tokenizer 统一处理。tokenizeFalse表示只做模板拼接不真正分词实际分词在下一步做这样方便检查模板是否正常。Qwen3 的 tokenizer 会把|im_start|识别为单个特殊 token所以模板字符串不会被打散。训练时不能对整段文本都算 loss否则模型会把 system 和 user 的内容也背下来生成时容易串话。标准做法是对非 assistant 部分做 maskdef tokenize_with_mask(sample): sys_tokens tokenizer.encode(|im_start|system\n SYSTEM_PROMPT |im_end|\n) user_tokens tokenizer.encode(|im_start|user\n sample[query] |im_end|\n) asst_tokens tokenizer.encode(|im_start|assistant\n sample[answer] |im_end|) input_ids sys_tokens user_tokens asst_tokens [tokenizer.eos_token_id] # 只有 assistant 部分参与 loss 计算其余置为 -100 labels [-100] * (len(sys_tokens) len(user_tokens)) asst_tokens [tokenizer.eos_token_id] return {input_ids: input_ids, labels: labels, attention_mask: [1] * len(input_ids)}这里为了把 mask 逻辑讲清楚我直接手写模板生产环境可以先用apply_chat_template得到整段文本再按 assistant 消息的 token 偏移量去构造 labels效果等价但手写版更好调试。参数说明-100是 PyTorch CrossEntropyLoss 的默认忽略值Trainer 会自动跳过这些位置的梯度计算eos_token_id加到末尾是为了让模型学会在答复结束时自然收尾而不是无限生成。3.3 长度分布、切分与数据量红线数据切分在对话会话级别做不能按句子随机切。同一个患者的病情描述和后续追问如果一半进训练一半进测试评估分数会虚高等于开卷考试。我一般按患者 ID 或会话 ID 分桶80% 训练、20% 验证同时打印长度分布看有多少样本超过 max_length。import numpy as np def analyze_lengths(ds_tokenized): lengths [len(x[input_ids]) for x in ds_tokenized] print(p50:, int(np.median(lengths)), p90:, int(np.percentile(lengths, 90)), max:, max(lengths)) return lengths lengths analyze_lengths(ds_tokenized)逻辑说明p90 是判断 max_length 该设多少的关键指标。如果 p90 已经接近 2048说明截断会砍掉大量答案的尾部训练出来的模型回复往往是“半句话”这时应该先拆样本比如把长问答拆成多轮短对话而不是盲目调大 max_length 硬吃显存。数据量上我的红线是全参微调医学对话至少两万条有效样本起步五千条以下先扩数据或改用 LoRA否则全参只会把噪声也背下来。4. 全参微调训练实战Transformers 脚本与 SwanLab 全程监控4.1 训练脚本主体与加载逻辑训练脚本的核心是全参加载 → 开梯度检查点 → Trainer 配置 → 接 SwanLab 回调。全参微调不需要任何 adapters模型加载后调用model.train()保证所有参数参与更新这一点和 LoRA 流程有本质区别。import torch import swanlab from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq ) from swanlab.integration.huggingface import SwanLabCallback MODEL_ID Qwen/Qwen3-4B tokenizer AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_ID, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue, ) model.train() # 全参微调全部参数更新不冻结 model.gradient_checkpointing_enable() # 用重计算换显存 training_args TrainingArguments( output_dir./qwen3-med-chk, per_device_train_batch_size2, gradient_accumulation_steps8, learning_rate1e-5, num_train_epochs3, lr_scheduler_typecosine, warmup_ratio0.03, bf16True, logging_steps10, eval_strategysteps, eval_steps200, save_strategyepoch, save_total_limit2, gradient_checkpointingTrue, optimadamw_torch, ) swanlab.init(projectqwen3-med, configtraining_args.to_dict()) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_ds, eval_dataseteval_ds, data_collatorDataCollatorForSeq2Seq(tokenizer, paddingTrue, label_pad_token_id-100), callbacks[SwanLabCallback()], ) trainer.train()逻辑说明device_mapauto让模型自动分布到可用显存单卡 A100 80G 刚好装下 Qwen3-4B 的权重和优化器状态gradient_checkpointing_enable()牺牲约 20% 训练速度换取激活值显存大幅下降这两行是全参微调能跑起来的前提。bf16True在 A100/H100 上比 fp16 更稳Loss 不会因为精度不足在后期抖动。DataCollatorForSeq2Seq负责把一个 batch 内不等长的样本 pad 到同一长度label_pad_token_id-100保证 padding 部分不参与 loss 计算和前面构造 labels 时用的 -100 是配套的。4.2 关键超参数解读与调整顺序参数我常用的值作用调整优先级learning_rate1e-5全参比 LoRA 低一个量级太高必崩第一优先per_device_train_batch_size2受显存约束4B 模型单卡不建议超过 4第二优先gradient_accumulation_steps8等效 batch 2×8×GPU数配合 batch 调num_train_epochs3医学对话 3 轮足够多了必过拟合看 eval losswarmup_ratio0.03让 lr 爬坡稳定前期 loss固定即可lr_scheduler_typecosine后期平滑衰减固定即可等效 batch 的算式是per_device_train_batch_size × gradient_accumulation_steps × 卡数上面配置在单卡下等效 batch 为 16这个量级对 4B 全参微调是安全的。调参顺序我一般固定为先定 learning_rate再压 batch 适配显存最后用 epoch 轮次控制过拟合。全参微调的学习率不要照抄 LoRA 的 2e-4 量级那是低秩适配的特权全参更新的是完整权重矩阵1e-5 起步、最大不要超过 2e-5这是大模型微调实战里最容易被忽视的翻车点。4.3 SwanLab 监控看什么、什么时候该停SwanLab 接进 Trainer 后每个 logging step 会自动记录 loss、learning_rate、grad_norm 和显存占用训练过程中打开网页面板就能看到实时曲线。我监控时只看四个信号。第一是 grad_norm正常全参微调的梯度范数应该在一到两个数量级内波动如果出现突然冲到 100 以上的尖峰大概率是某条训练样本里有异常长的特殊 token 序列或标签错位应该暂停排查数据。第二是 train loss 与 eval loss 的间距两者一直贴在一起说明模型还在学间距拉大且 eval 不再下降就是过拟合信号。第三是学习率曲线warmup 段 loss 不降是正常的不要看到前 100 步没动静就杀训练。第四是显存占用曲线稳定后不要随便加 batch全参微调 OOM 往往发生在 batch 翻倍的瞬间。SwanLab 还有一个好处是能把多个实验的曲线叠在一起比换数据清洗规则、换学习率时我就不用翻终端日志了直接看同一面板上的对比曲线决定取舍。训练收敛后我不会立刻收工而是用验证集抽 20 条 prompt 做一次生成检查确认模型输出不再是训练前的通用话术再进入下一章推理验证。5. 全参微调避坑排查五个让我返工的真实翻车现场5.1 刚起跑就 CUDA out of memory现象Trainer 打印完第一条日志就报显存不足进程直接退出。原因全参微调每个参数要放权重、梯度、fp32 主权重和 Adam 的 m/vQwen3-4B 在 40G 单卡上根本没地方放优化器状态跟 batch size 关系不大。解决先开gradient_checkpointingTrue再把per_device_train_batch_size降到 1靠gradient_accumulation_steps16补等效 batch还不行就上 DeepSpeed ZeRO-2 或 CPU offload让优化器状态分片到多卡或内存。5.2 医学能力上去了通用能力崩了现象训练 3 个 epoch 后分诊答得漂亮让它写一段普通摘要却开始胡言乱语连基本的中文表达都变形。原因这是典型的灾难性遗忘。全参微调把所有注意力权重推向医学分布原有多语言通用知识被覆盖学习率给到 2e-5 以上、epoch 跑到 5 都会加速这个过程。解决学习率降到 5e-6 到 1e-5epoch 控制在 2 到 3训练集里混入 10% 到 20% 的通用指令数据兜底。我踩过一次之后通用数据混合比例就成了固定配置不再单独跑纯医学数据。5.3 loss 在降、回答却不变现象训练 loss 稳定降到 0.8 以下eval loss 也漂亮但推理时模型还是输出模板化的空话像完全没学过医学内容。原因截断或 mask 配置出了问题。最常见的是样本在max_length处被硬截断答案后半段被砍光模型学到的是残缺文本补全另一个可能是 system 和 user 部分没被 maskloss 大量压在非答案 token 上模型学会了预测问句而不是答复。解决用第 3 章的长度统计看 p90把超长样本先拆短打印一条 tokenize 后的 labels人工确认 assistant 区间是否真的标成了真实 token id 而不是 -100。这两个检查做完问题基本自愈。5.4 复读机与编造药品名现象同一个分诊问题每次都回几乎一样的句子还会正儿八经地编出不存在的药品名语气还很笃定。原因数据同质化严重加过拟合模型把少数几条高频模板背下来了推理侧温度设得太低也会放大这个问题temperature0 时采样变成贪心专门挑训练集里出现最多的那条路走。解决训练侧做数据多样化和早停验证 loss 连续三轮不降就停推理侧把temperature提到 0.5 左右、打开repetition_penalty1.05同时在 system 里强制“无法确认的信息必须明说”。生成参数不是玄学它是过拟合的最后一层缓冲。5.5 贪便宜换 0.6B效果断崖现象为了省显存把模型换成 Qwen3-0.6B同样数据同样流程跑完分诊准确率掉了一大截。原因0.6B 的容量装不下医学实体之间的复杂关系全参微调能改变权重分布但补不了模型容量。小模型把典型场景背熟没问题遇到边界病例就现原形。解决把 0.6B 定位成数据 pipeline 的冒烟验证模型专门用来测模板、测 mask、测清洗规则有没有 bug正式训练直接 4B 起步。用 0.6B 省下的显存最后都会变成调数据的加班时间还回去。6. 推理验证与落地生成参数、评估口径与固定流程6.1 生成参数与评估口径全参微调产出的 checkpoint 可以直接加载做推理不需要任何 adapter 合并步骤。医学对话的生成参数我固定一套基线参数建议值说明temperature0.4~0.7太低变复读机太高开始编药名top_p0.85~0.95与 temperature 搭配别单独拉满repetition_penalty1.03~1.1抑制模板句复读max_new_tokens200~300医学答复不宜过长超过 300 大多是废话prompt 患者自述右下腹隐痛两天伴恶心没有发热应该挂什么科 messages [ {role: system, content: 你是一位临床医学助手回答基于循证医学对不确定的信息必须明确说不知道。}, {role: user, content: prompt}, ] inputs tokenizer.apply_chat_template(messages, tokenizeTrue, add_generation_promptTrue, return_tensorspt).to(cuda) out model.generate(inputs, max_new_tokens256, temperature0.5, top_p0.9, repetition_penalty1.05) print(tokenizer.decode(out[0], skip_special_tokensTrue))评估我不会只看 ROUGE医学对话的“对”不是字面相似。我会固定留出 100 条真实分诊咨询按三个维度人工打分回答是否越过安全边界、术语是否准确、信息是否完整。ROUGE 只作为定量参考真正的验收标准是人工分。6.2 部署与我的固定流程全参微调的最大落地优势在这里save_pretrained保存下来的就是完整权重部署服务用 vLLM 直接加载省掉 LoRA 那套合并 adapter 的步骤。vllm serve ./qwen3-med-chk/epoch_3 --served-model-name qwen3-med --max-model-len 8192从那以后我每次做全参微调都强制先跑一遍最小步数冒烟测试加载模型、跑 30 步、确认 loss 真在下降、抽一条生成看输出真在变化再挂长训练评估集也固定留好不临时抽样本防止自己给结果放水。这套流程帮我少踩了不少坑希望帮到你。本文还有配套的精品资源点击获取