简介本资源面向希望掌握大模型微调技术的开发者与算法工程师围绕LLama3.1展开全参数微调、Lora微调与QLora微调三种方案的实战教学帮助读者理解不同微调策略在资源消耗、收敛速度与泛化能力上的差异并能在实际任务中按需选型。压缩包共45个文件以24个Python脚本、13个Shell脚本为主辅以5个JSON配置、1个Markdown说明与1个txt依赖文件整体约144KB涵盖微调训练、模型预测、数据处理与DeepSpeed配置等模块。资源附有完整项目源码与流程教程读者可参照脚本完成数据集准备、环境配置、微调执行与效果评估并对比全参、Lora、QLora在LLama3.1上的实现细节与调参思路。目前已有454人学习下载适合具备一定深度学习基础、希望快速上手大模型微调实战的开发者参考。1. Llama3.1 三种微调路线全参、LoRA、QLoRA 到底怎么选显存不够还想微调 Llama3.1这是绝大多数人卡住的第一道坎。一台单卡 24G 的机器全参微调 8B 模型基本没戏LoRA 能跑但 batch size 小得可怜QLoRA 则能把门槛压到 12G 左右。这三个词——全参微调、LoRA 微调、QLoRA 微调——不是递进关系而是三条平行路线各自对应不同的数据量、显存预算和精度要求。选错了要么白烧卡时要么训出来的模型还不如 prompt 工程。这篇内容面向的是手里有 Llama3.1 权重、想在自己的业务数据上做微调、但不确定该走哪条路的工程师。我会把三条路线的显存账、代码实现、参数配置和踩坑点拆开讲每一步都能直接抄。读完你至少能判断我的卡能跑哪种、我的数据量配哪种、以及为什么有人用 QLoRA 训完效果反而比全参好。2. 三条路线的显存账与选型逻辑2.1 全参微调8B 模型为什么至少要 80G 显存全参微调意味着模型所有参数都参与梯度更新。Llama3.1 8B 的参数量是 80 亿以 bf16 精度加载光权重就占 16GB。但训练时的显存开销远不止权重梯度和权重同精度16GB优化器状态AdamW 需要保存一阶矩和二阶矩各 16GB合计 32GB激活值取决于 batch size 和序列长度8B 模型在 seq_len2048、batch1 时大约 8-12GB加起来 16163212 ≈ 76GB这还没算 CUDA 上下文和碎片。所以全参微调 8B 模型实际需要 80G 显存的 A100 或 H100。如果开启 gradient checkpointing激活值能压到 2-4GB但训练速度会慢 30% 左右。如果再用 DeepSpeed ZeRO-3 做参数分片4 张 24G 卡也能跑但通信开销会让吞吐掉得厉害。全参微调的适用场景很明确数据量在 10 万条以上、任务和基座模型分布差异大、且你有 80G 卡。数据量少于 1 万条时全参微调很容易过拟合反而不如 LoRA。2.2 LoRA 微调冻结主干只训低秩矩阵LoRA 的思路是在原始权重旁边挂一个低秩分解矩阵。对于原始权重 Wd×kLoRA 引入 Bd×r和 Ar×k前向传播变成 Wx BAx。训练时只更新 A 和 BW 冻结。r 通常取 8、16、32r 越小可训练参数越少。以 Llama3.1 8B 为例r16 时LoRA 的可训练参数大约 4000 万占总参数的 0.5%。显存开销基座权重16GBbf16LoRA 参数 梯度 优化器状态不到 1GB激活值和全参一样8-12GB总计约 25-30GB单卡 24G 需要开 gradient checkpointing 并调小 batch size。LoRA 的训练速度比全参快 2-3 倍因为反向传播只算 LoRA 部分。LoRA 的坑在于 target_modules 的选择。只挂 q_proj 和 v_proj 是最省显存的但效果一般。挂上 q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj 全部线性层效果明显更好但可训练参数会涨到 1.5% 左右。我一般会先全挂训一版看 loss 曲线如果收敛太快再减模块。2.3 QLoRA 微调4bit 量化 LoRA12G 显存跑 8BQLoRA 是在 LoRA 基础上把基座模型用 4bit NormalFloat 量化加载。权重从 16GB 压到 4GB 左右加上 LoRA 参数和激活值总显存能控制在 10-12GB。这意味着单张 12G 的 3060 或 4070 就能微调 Llama3.1 8B。QLoRA 的关键技术点有三个4bit NormalFloat 量化对正态分布权重最优的 4bit 编码双重量化对量化常数再量化每个参数再省 0.37bit分页优化器用 NVIDIA 统一内存避免显存尖峰 OOMQLoRA 的代价是训练速度比 LoRA 慢 30-40%因为每次前向都要反量化。另外 4bit 量化会引入精度损失但在指令微调任务上QLoRA 和 LoRA 的最终效果差距通常在 1-2 个百分点以内。选型决策可以按这个顺序走先看显存80G 以上考虑全参24-40G 走 LoRA12-16G 走 QLoRA。再看数据量少于 5000 条优先 LoRA/QLoRA因为全参容易过拟合。最后看任务复杂度如果是领域知识注入QLoRA 足够如果是风格迁移或对齐LoRA 更稳。3. 用 LLaMA-Factory 跑通三种微调的最小命令3.1 环境配置CUDA、PyTorch 和依赖版本对齐环境是第一个翻车点。Llama3.1 需要 transformers4.43而 QLoRA 需要 bitsandbytes0.43。我一般用 conda 建一个干净环境conda create -n llama31 python3.10 -y conda activate llama31 pip install torch2.3.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.44.0 datasets2.20.0 accelerate0.33.0 pip install peft0.12.0 bitsandbytes0.43.3 trl0.9.6 pip install llama-factory0.9.0这里锁死版本是因为 transformers 4.45 和 peft 0.12 有兼容问题会导致 LoRA 权重加载失败。bitsandbytes 0.43.3 是第一个稳定支持 CUDA 12.1 的版本再低会报libbitsandbytes_cuda121.so not found。llama-factory 0.9.0 对 Llama3.1 的 chat template 支持是完整的再低版本会把 special tokens 切错。验证环境是否正常import torch from transformers import AutoModelForCausalLM print(torch.cuda.is_available(), torch.cuda.get_device_name(0)) model AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapauto) print(model.config.num_hidden_layers)如果这步报 OOM说明显存不够加载 bf16 权重后面 QLoRA 的 4bit 加载反而能过。如果报KeyError: llama3是 transformers 版本太低不认识 Llama3.1 的模型类型。3.2 全参微调DeepSpeed ZeRO-3 配置与启动脚本全参微调在 LLaMA-Factory 里用--stage full指定。单卡 80G 可以直接跑多卡 24G 需要 DeepSpeed ZeRO-3。先写一个 ds_config.json{ train_batch_size: auto, train_micro_batch_size_per_gpu: auto, gradient_accumulation_steps: auto, zero_optimization: { stage: 3, offload_optimizer: {device: cpu, pin_memory: true}, offload_param: {device: cpu, pin_memory: true}, overlap_comm: true, contiguous_gradients: true, sub_group_size: 1e9, stage3_max_live_parameters: 1e9, stage3_max_reuse_distance: 1e9 }, bf16: {enabled: true}, gradient_clipping: 1.0 }启动命令llamafactory-cli train \ --stage full \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --cutoff_len 2048 \ --max_samples 10000 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 1e-5 \ --num_train_epochs 3 \ --lr_scheduler_type cosine \ --warmup_ratio 0.03 \ --bf16 true \ --deepspeed ds_config.json \ --output_dir outputs/full_sft \ --logging_steps 10 \ --save_steps 500关键参数说明per_device_train_batch_size1配合gradient_accumulation_steps16等效 batch size 是 16。全参微调的学习率要压到 1e-5 以下LoRA 可以用 1e-4这是最容易搞混的地方。cutoff_len2048是显存和效果的平衡点再长激活值会爆。template llama3必须指定否则 Llama3.1 的|start_header_id|特殊 token 会被当成普通文本。3.3 LoRA 微调target_modules 与 rank 的实操配置LoRA 在 LLaMA-Factory 里用--stage sft加--finetuning_type lora。核心配置llamafactory-cli train \ --stage sft \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --finetuning_type lora \ --lora_rank 16 \ --lora_alpha 32 \ --lora_dropout 0.05 \ --lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --cutoff_len 2048 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --learning_rate 1e-4 \ --num_train_epochs 3 \ --bf16 true \ --output_dir outputs/lora_sft \ --logging_steps 10 \ --save_steps 500lora_rank16是起点数据量超过 5 万条可以提到 32 或 64。lora_alpha一般设成 rank 的 2 倍缩放系数 alpha/r 保持在 2 左右。lora_dropout0.05对小数据集有正则效果数据量大于 10 万可以设 0。lora_target全挂线性层是我推荐的默认配置如果显存吃紧先砍掉 gate_proj 和 down_proj这两个参数量最大。LoRA 训练完输出目录里只有 adapter_model.safetensors几十 MB。推理时需要先加载基座再挂 LoRAfrom peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapauto) model PeftModel.from_pretrained(base, outputs/lora_sft) tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-3.1-8B-Instruct) inputs tokenizer(### 指令介绍一下杭州\n### 回答, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))3.4 QLoRA 微调4bit 量化加载与分页优化器QLoRA 在 LoRA 基础上加--quantization_bit 4llamafactory-cli train \ --stage sft \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --finetuning_type lora \ --quantization_bit 4 \ --lora_rank 16 \ --lora_alpha 32 \ --lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --cutoff_len 1024 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 2e-4 \ --num_train_epochs 3 \ --bf16 true \ --output_dir outputs/qlora_sft \ --logging_steps 10 \ --save_steps 500QLoRA 的学习率要比 LoRA 再高一点2e-4 是常见值因为 4bit 量化后梯度信号会弱一些。cutoff_len建议降到 1024因为 4bit 反量化会额外吃显存。如果还是 OOM加--flash_attn fa2开启 FlashAttention-2激活值能再省 20%。QLoRA 训练时如果报CUDA out of memory先检查是不是per_device_train_batch_size设大了。12G 卡上 batch size 必须为 1靠 gradient_accumulation 堆等效 batch。另一个常见报错是bitsandbytes requires CUDA 11.8这是 CUDA 版本不匹配重装对应版本的 bitsandbytes 即可。4. 微调避坑从 loss 不降到推理胡言乱语4.1 loss 从 2.3 降到 0.8 但推理输出重复现象训练 loss 曲线很漂亮从 2.3 一路降到 0.8但推理时模型反复输出同一句话或者陷入### 指令的循环。原因这是典型的过拟合加特殊 token 处理错误。Llama3.1 的 chat template 用|eot_id|作为结束符如果训练时没有正确设置eos_token模型学不会在合适位置停止。另外数据量少于 2000 条时3 个 epoch 就会过拟合。解决在 LLaMA-Factory 里确认--template llama3已指定它会自动处理 eot token。数据量少时把num_train_epochs降到 1-2并加--lora_dropout 0.1。推理时设置repetition_penalty1.1和no_repeat_ngram_size3作为兜底。4.2 QLoRA 训练速度只有 LoRA 的三分之一现象同样的数据量LoRA 跑完 3 个 epoch 要 2 小时QLoRA 要 6 小时以上。原因4bit 反量化是在每次前向传播时实时进行的计算图里多了大量 dequantize 操作。如果没开 gradient checkpointing激活值显存和计算量都会翻倍。解决加--gradient_checkpointing true虽然会慢 20%但能避免 OOM。另外确认--bf16 true已开bf16 的矩阵乘比 fp32 快一倍。如果卡支持 FlashAttention-2加--flash_attn fa2注意力计算能快 30%。最后检查dataloader_num_workers设成 4 以上让数据加载不成为瓶颈。4.3 合并 LoRA 权重后推理结果和训练时不一致现象训练时用 PeftModel 加载 adapter 推理正常但用merge_and_unload()合并后输出完全变了。原因合并时精度转换出了问题。LoRA 权重是 fp32基座是 bf16直接相加会丢精度。另外如果基座加载时用了 4bit 量化合并前必须先反量化到 bf16否则合并结果不可用。解决合并时统一用 fp32 或 bf16不要混用。QLoRA 的 adapter 不能直接合并到 4bit 基座上必须先加载 bf16 基座再合并from peft import PeftModel from transformers import AutoModelForCausalLM base AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapcpu) model PeftModel.from_pretrained(base, outputs/qlora_sft) merged model.merge_and_unload() merged.save_pretrained(outputs/merged_model, safe_serializationTrue)合并后在 CPU 上做避免显存不够。保存时用safe_serializationTrue否则可能生成不完整的 bin 文件。4.4 中文数据微调后模型开始中英混杂现象用中文指令数据微调 Llama3.1 后模型回答里频繁出现英文单词甚至整句英文。原因Llama3.1 的原生中文能力偏弱全参微调时如果学习率太高会破坏原有的语言表示。LoRA 相对好一些但如果 target_modules 只挂了 q_proj 和 v_proj语言风格迁移不充分。解决学习率降到 5e-5 以下全参微调甚至可以用 1e-5。数据里确保中文指令和中文回答严格配对不要混入英文样本。LoRA 的 target_modules 挂全线性层让语言风格在多个投影层上对齐。如果还是混杂在推理 prompt 里加一句「请用中文回答」作为最后一道保险。4.5 多卡训练时 loss 震荡不收敛现象单卡训练 loss 平稳下降换成 4 卡 DDP 后 loss 剧烈震荡甚至发散。原因多卡训练时等效 batch size 变大学习率没有同步放大。另外如果数据没有做 shuffle 和分片每张卡看到的样本分布不一致梯度方向会打架。解决学习率按 sqrt(卡数) 放大4 卡时 LoRA 学习率从 1e-4 提到 2e-4。确认--dataloader_drop_last true和--group_by_length false避免最后一个 batch 大小不一致。如果用 DeepSpeed ZeRO-3检查gradient_clipping是否设为 1.0梯度裁剪能有效抑制震荡。5. 用 merge 后的模型做批量推理与效果验证训完模型不验证等于白训。我一般会写一个批量推理脚本用固定测试集对比基座、LoRA、QLoRA 三版输出。先准备一个 jsonl 测试文件每行一个指令{instruction: 用一句话解释什么是过拟合, input: } {instruction: 把下面这句话翻译成英文今天天气很好, input: }推理脚本import json import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel def load_model(base_path, adapter_pathNone, quantizeFalse): kwargs {torch_dtype: torch.bfloat16, device_map: auto} if quantize: from transformers import BitsAndBytesConfig kwargs[quantization_config] BitsAndBytesConfig(load_in_4bitTrue, bnb_4bit_compute_dtypetorch.bfloat16) model AutoModelForCausalLM.from_pretrained(base_path, **kwargs) if adapter_path: model PeftModel.from_pretrained(model, adapter_path) tokenizer AutoTokenizer.from_pretrained(base_path) return model, tokenizer def batch_infer(model, tokenizer, instructions, max_new_tokens256): results [] for inst in instructions: prompt f|start_header_id|user|end_header_id|\n\n{inst}|eot_id||start_header_id|assistant|end_header_id|\n\n inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokensmax_new_tokens, do_sampleFalse, repetition_penalty1.1) text tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) results.append(text.strip()) return results instructions [json.loads(line)[instruction] for line in open(test.jsonl)] model, tokenizer load_model(meta-llama/Llama-3.1-8B-Instruct, outputs/lora_sft) outputs batch_infer(model, tokenizer, instructions) for inst, out in zip(instructions, outputs): print(f指令{inst}\n输出{out}\n{-*40})这段脚本的关键在 prompt 构造。Llama3.1 的 chat template 必须严格按|start_header_id|user|end_header_id|的格式少一个换行都会导致输出质量下降。do_sampleFalse用贪心解码保证可复现验证阶段不要开采样。repetition_penalty1.1是防重复的兜底参数正常模型不会触发但过拟合模型能靠它救回来。验证时重点看三个指标指令遵循率、输出长度分布、以及和基座的差异度。指令遵循率靠人工抽检 50 条输出长度用脚本统计差异度可以用 BLEU 或 ROUGE 对比基座输出。如果 LoRA 版和基座版输出几乎一样说明学习率太低或 rank 太小模型没学到东西。如果输出长度普遍比基座短很多说明模型学会了「早停」可能是 eos token 训练过度。我自己的习惯是每次微调都保留三份输出基座、LoRA、QLoRA放在同一个表格里对比。QLoRA 在指令遵循上通常比 LoRA 差 1-3 个百分点但在显存受限时这是唯一能跑的选择。如果 QLoRA 和 LoRA 差距超过 5 个百分点检查 4bit 量化配置把bnb_4bit_quant_type从 nf4 换成 fp4 试试某些数据集上 fp4 反而更稳。最后说一个血泪教训不要用训练集里的样本做验证。我见过太多人拿训练数据测输出完美一上真实流量就崩。验证集必须从训练数据里切出来或者干脆重新标 100 条。微调不是魔法它只是让模型在你的数据分布上更贴合泛化能力还是取决于数据质量和多样性。希望帮到你。本文还有配套的精品资源点击获取 Llama3.1微调实战：全参、LoRA、QLoRA选型与避坑指南
简介本资源面向希望掌握大模型微调技术的开发者与算法工程师围绕LLama3.1展开全参数微调、Lora微调与QLora微调三种方案的实战教学帮助读者理解不同微调策略在资源消耗、收敛速度与泛化能力上的差异并能在实际任务中按需选型。压缩包共45个文件以24个Python脚本、13个Shell脚本为主辅以5个JSON配置、1个Markdown说明与1个txt依赖文件整体约144KB涵盖微调训练、模型预测、数据处理与DeepSpeed配置等模块。资源附有完整项目源码与流程教程读者可参照脚本完成数据集准备、环境配置、微调执行与效果评估并对比全参、Lora、QLora在LLama3.1上的实现细节与调参思路。目前已有454人学习下载适合具备一定深度学习基础、希望快速上手大模型微调实战的开发者参考。1. Llama3.1 三种微调路线全参、LoRA、QLoRA 到底怎么选显存不够还想微调 Llama3.1这是绝大多数人卡住的第一道坎。一台单卡 24G 的机器全参微调 8B 模型基本没戏LoRA 能跑但 batch size 小得可怜QLoRA 则能把门槛压到 12G 左右。这三个词——全参微调、LoRA 微调、QLoRA 微调——不是递进关系而是三条平行路线各自对应不同的数据量、显存预算和精度要求。选错了要么白烧卡时要么训出来的模型还不如 prompt 工程。这篇内容面向的是手里有 Llama3.1 权重、想在自己的业务数据上做微调、但不确定该走哪条路的工程师。我会把三条路线的显存账、代码实现、参数配置和踩坑点拆开讲每一步都能直接抄。读完你至少能判断我的卡能跑哪种、我的数据量配哪种、以及为什么有人用 QLoRA 训完效果反而比全参好。2. 三条路线的显存账与选型逻辑2.1 全参微调8B 模型为什么至少要 80G 显存全参微调意味着模型所有参数都参与梯度更新。Llama3.1 8B 的参数量是 80 亿以 bf16 精度加载光权重就占 16GB。但训练时的显存开销远不止权重梯度和权重同精度16GB优化器状态AdamW 需要保存一阶矩和二阶矩各 16GB合计 32GB激活值取决于 batch size 和序列长度8B 模型在 seq_len2048、batch1 时大约 8-12GB加起来 16163212 ≈ 76GB这还没算 CUDA 上下文和碎片。所以全参微调 8B 模型实际需要 80G 显存的 A100 或 H100。如果开启 gradient checkpointing激活值能压到 2-4GB但训练速度会慢 30% 左右。如果再用 DeepSpeed ZeRO-3 做参数分片4 张 24G 卡也能跑但通信开销会让吞吐掉得厉害。全参微调的适用场景很明确数据量在 10 万条以上、任务和基座模型分布差异大、且你有 80G 卡。数据量少于 1 万条时全参微调很容易过拟合反而不如 LoRA。2.2 LoRA 微调冻结主干只训低秩矩阵LoRA 的思路是在原始权重旁边挂一个低秩分解矩阵。对于原始权重 Wd×kLoRA 引入 Bd×r和 Ar×k前向传播变成 Wx BAx。训练时只更新 A 和 BW 冻结。r 通常取 8、16、32r 越小可训练参数越少。以 Llama3.1 8B 为例r16 时LoRA 的可训练参数大约 4000 万占总参数的 0.5%。显存开销基座权重16GBbf16LoRA 参数 梯度 优化器状态不到 1GB激活值和全参一样8-12GB总计约 25-30GB单卡 24G 需要开 gradient checkpointing 并调小 batch size。LoRA 的训练速度比全参快 2-3 倍因为反向传播只算 LoRA 部分。LoRA 的坑在于 target_modules 的选择。只挂 q_proj 和 v_proj 是最省显存的但效果一般。挂上 q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj 全部线性层效果明显更好但可训练参数会涨到 1.5% 左右。我一般会先全挂训一版看 loss 曲线如果收敛太快再减模块。2.3 QLoRA 微调4bit 量化 LoRA12G 显存跑 8BQLoRA 是在 LoRA 基础上把基座模型用 4bit NormalFloat 量化加载。权重从 16GB 压到 4GB 左右加上 LoRA 参数和激活值总显存能控制在 10-12GB。这意味着单张 12G 的 3060 或 4070 就能微调 Llama3.1 8B。QLoRA 的关键技术点有三个4bit NormalFloat 量化对正态分布权重最优的 4bit 编码双重量化对量化常数再量化每个参数再省 0.37bit分页优化器用 NVIDIA 统一内存避免显存尖峰 OOMQLoRA 的代价是训练速度比 LoRA 慢 30-40%因为每次前向都要反量化。另外 4bit 量化会引入精度损失但在指令微调任务上QLoRA 和 LoRA 的最终效果差距通常在 1-2 个百分点以内。选型决策可以按这个顺序走先看显存80G 以上考虑全参24-40G 走 LoRA12-16G 走 QLoRA。再看数据量少于 5000 条优先 LoRA/QLoRA因为全参容易过拟合。最后看任务复杂度如果是领域知识注入QLoRA 足够如果是风格迁移或对齐LoRA 更稳。3. 用 LLaMA-Factory 跑通三种微调的最小命令3.1 环境配置CUDA、PyTorch 和依赖版本对齐环境是第一个翻车点。Llama3.1 需要 transformers4.43而 QLoRA 需要 bitsandbytes0.43。我一般用 conda 建一个干净环境conda create -n llama31 python3.10 -y conda activate llama31 pip install torch2.3.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers4.44.0 datasets2.20.0 accelerate0.33.0 pip install peft0.12.0 bitsandbytes0.43.3 trl0.9.6 pip install llama-factory0.9.0这里锁死版本是因为 transformers 4.45 和 peft 0.12 有兼容问题会导致 LoRA 权重加载失败。bitsandbytes 0.43.3 是第一个稳定支持 CUDA 12.1 的版本再低会报libbitsandbytes_cuda121.so not found。llama-factory 0.9.0 对 Llama3.1 的 chat template 支持是完整的再低版本会把 special tokens 切错。验证环境是否正常import torch from transformers import AutoModelForCausalLM print(torch.cuda.is_available(), torch.cuda.get_device_name(0)) model AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapauto) print(model.config.num_hidden_layers)如果这步报 OOM说明显存不够加载 bf16 权重后面 QLoRA 的 4bit 加载反而能过。如果报KeyError: llama3是 transformers 版本太低不认识 Llama3.1 的模型类型。3.2 全参微调DeepSpeed ZeRO-3 配置与启动脚本全参微调在 LLaMA-Factory 里用--stage full指定。单卡 80G 可以直接跑多卡 24G 需要 DeepSpeed ZeRO-3。先写一个 ds_config.json{ train_batch_size: auto, train_micro_batch_size_per_gpu: auto, gradient_accumulation_steps: auto, zero_optimization: { stage: 3, offload_optimizer: {device: cpu, pin_memory: true}, offload_param: {device: cpu, pin_memory: true}, overlap_comm: true, contiguous_gradients: true, sub_group_size: 1e9, stage3_max_live_parameters: 1e9, stage3_max_reuse_distance: 1e9 }, bf16: {enabled: true}, gradient_clipping: 1.0 }启动命令llamafactory-cli train \ --stage full \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --cutoff_len 2048 \ --max_samples 10000 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 1e-5 \ --num_train_epochs 3 \ --lr_scheduler_type cosine \ --warmup_ratio 0.03 \ --bf16 true \ --deepspeed ds_config.json \ --output_dir outputs/full_sft \ --logging_steps 10 \ --save_steps 500关键参数说明per_device_train_batch_size1配合gradient_accumulation_steps16等效 batch size 是 16。全参微调的学习率要压到 1e-5 以下LoRA 可以用 1e-4这是最容易搞混的地方。cutoff_len2048是显存和效果的平衡点再长激活值会爆。template llama3必须指定否则 Llama3.1 的|start_header_id|特殊 token 会被当成普通文本。3.3 LoRA 微调target_modules 与 rank 的实操配置LoRA 在 LLaMA-Factory 里用--stage sft加--finetuning_type lora。核心配置llamafactory-cli train \ --stage sft \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --finetuning_type lora \ --lora_rank 16 \ --lora_alpha 32 \ --lora_dropout 0.05 \ --lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --cutoff_len 2048 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --learning_rate 1e-4 \ --num_train_epochs 3 \ --bf16 true \ --output_dir outputs/lora_sft \ --logging_steps 10 \ --save_steps 500lora_rank16是起点数据量超过 5 万条可以提到 32 或 64。lora_alpha一般设成 rank 的 2 倍缩放系数 alpha/r 保持在 2 左右。lora_dropout0.05对小数据集有正则效果数据量大于 10 万可以设 0。lora_target全挂线性层是我推荐的默认配置如果显存吃紧先砍掉 gate_proj 和 down_proj这两个参数量最大。LoRA 训练完输出目录里只有 adapter_model.safetensors几十 MB。推理时需要先加载基座再挂 LoRAfrom peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapauto) model PeftModel.from_pretrained(base, outputs/lora_sft) tokenizer AutoTokenizer.from_pretrained(meta-llama/Llama-3.1-8B-Instruct) inputs tokenizer(### 指令介绍一下杭州\n### 回答, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))3.4 QLoRA 微调4bit 量化加载与分页优化器QLoRA 在 LoRA 基础上加--quantization_bit 4llamafactory-cli train \ --stage sft \ --model_name_or_path meta-llama/Llama-3.1-8B-Instruct \ --dataset alpaca_zh_demo \ --template llama3 \ --finetuning_type lora \ --quantization_bit 4 \ --lora_rank 16 \ --lora_alpha 32 \ --lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj \ --cutoff_len 1024 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 16 \ --learning_rate 2e-4 \ --num_train_epochs 3 \ --bf16 true \ --output_dir outputs/qlora_sft \ --logging_steps 10 \ --save_steps 500QLoRA 的学习率要比 LoRA 再高一点2e-4 是常见值因为 4bit 量化后梯度信号会弱一些。cutoff_len建议降到 1024因为 4bit 反量化会额外吃显存。如果还是 OOM加--flash_attn fa2开启 FlashAttention-2激活值能再省 20%。QLoRA 训练时如果报CUDA out of memory先检查是不是per_device_train_batch_size设大了。12G 卡上 batch size 必须为 1靠 gradient_accumulation 堆等效 batch。另一个常见报错是bitsandbytes requires CUDA 11.8这是 CUDA 版本不匹配重装对应版本的 bitsandbytes 即可。4. 微调避坑从 loss 不降到推理胡言乱语4.1 loss 从 2.3 降到 0.8 但推理输出重复现象训练 loss 曲线很漂亮从 2.3 一路降到 0.8但推理时模型反复输出同一句话或者陷入### 指令的循环。原因这是典型的过拟合加特殊 token 处理错误。Llama3.1 的 chat template 用|eot_id|作为结束符如果训练时没有正确设置eos_token模型学不会在合适位置停止。另外数据量少于 2000 条时3 个 epoch 就会过拟合。解决在 LLaMA-Factory 里确认--template llama3已指定它会自动处理 eot token。数据量少时把num_train_epochs降到 1-2并加--lora_dropout 0.1。推理时设置repetition_penalty1.1和no_repeat_ngram_size3作为兜底。4.2 QLoRA 训练速度只有 LoRA 的三分之一现象同样的数据量LoRA 跑完 3 个 epoch 要 2 小时QLoRA 要 6 小时以上。原因4bit 反量化是在每次前向传播时实时进行的计算图里多了大量 dequantize 操作。如果没开 gradient checkpointing激活值显存和计算量都会翻倍。解决加--gradient_checkpointing true虽然会慢 20%但能避免 OOM。另外确认--bf16 true已开bf16 的矩阵乘比 fp32 快一倍。如果卡支持 FlashAttention-2加--flash_attn fa2注意力计算能快 30%。最后检查dataloader_num_workers设成 4 以上让数据加载不成为瓶颈。4.3 合并 LoRA 权重后推理结果和训练时不一致现象训练时用 PeftModel 加载 adapter 推理正常但用merge_and_unload()合并后输出完全变了。原因合并时精度转换出了问题。LoRA 权重是 fp32基座是 bf16直接相加会丢精度。另外如果基座加载时用了 4bit 量化合并前必须先反量化到 bf16否则合并结果不可用。解决合并时统一用 fp32 或 bf16不要混用。QLoRA 的 adapter 不能直接合并到 4bit 基座上必须先加载 bf16 基座再合并from peft import PeftModel from transformers import AutoModelForCausalLM base AutoModelForCausalLM.from_pretrained(meta-llama/Llama-3.1-8B-Instruct, torch_dtypetorch.bfloat16, device_mapcpu) model PeftModel.from_pretrained(base, outputs/qlora_sft) merged model.merge_and_unload() merged.save_pretrained(outputs/merged_model, safe_serializationTrue)合并后在 CPU 上做避免显存不够。保存时用safe_serializationTrue否则可能生成不完整的 bin 文件。4.4 中文数据微调后模型开始中英混杂现象用中文指令数据微调 Llama3.1 后模型回答里频繁出现英文单词甚至整句英文。原因Llama3.1 的原生中文能力偏弱全参微调时如果学习率太高会破坏原有的语言表示。LoRA 相对好一些但如果 target_modules 只挂了 q_proj 和 v_proj语言风格迁移不充分。解决学习率降到 5e-5 以下全参微调甚至可以用 1e-5。数据里确保中文指令和中文回答严格配对不要混入英文样本。LoRA 的 target_modules 挂全线性层让语言风格在多个投影层上对齐。如果还是混杂在推理 prompt 里加一句「请用中文回答」作为最后一道保险。4.5 多卡训练时 loss 震荡不收敛现象单卡训练 loss 平稳下降换成 4 卡 DDP 后 loss 剧烈震荡甚至发散。原因多卡训练时等效 batch size 变大学习率没有同步放大。另外如果数据没有做 shuffle 和分片每张卡看到的样本分布不一致梯度方向会打架。解决学习率按 sqrt(卡数) 放大4 卡时 LoRA 学习率从 1e-4 提到 2e-4。确认--dataloader_drop_last true和--group_by_length false避免最后一个 batch 大小不一致。如果用 DeepSpeed ZeRO-3检查gradient_clipping是否设为 1.0梯度裁剪能有效抑制震荡。5. 用 merge 后的模型做批量推理与效果验证训完模型不验证等于白训。我一般会写一个批量推理脚本用固定测试集对比基座、LoRA、QLoRA 三版输出。先准备一个 jsonl 测试文件每行一个指令{instruction: 用一句话解释什么是过拟合, input: } {instruction: 把下面这句话翻译成英文今天天气很好, input: }推理脚本import json import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel def load_model(base_path, adapter_pathNone, quantizeFalse): kwargs {torch_dtype: torch.bfloat16, device_map: auto} if quantize: from transformers import BitsAndBytesConfig kwargs[quantization_config] BitsAndBytesConfig(load_in_4bitTrue, bnb_4bit_compute_dtypetorch.bfloat16) model AutoModelForCausalLM.from_pretrained(base_path, **kwargs) if adapter_path: model PeftModel.from_pretrained(model, adapter_path) tokenizer AutoTokenizer.from_pretrained(base_path) return model, tokenizer def batch_infer(model, tokenizer, instructions, max_new_tokens256): results [] for inst in instructions: prompt f|start_header_id|user|end_header_id|\n\n{inst}|eot_id||start_header_id|assistant|end_header_id|\n\n inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokensmax_new_tokens, do_sampleFalse, repetition_penalty1.1) text tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) results.append(text.strip()) return results instructions [json.loads(line)[instruction] for line in open(test.jsonl)] model, tokenizer load_model(meta-llama/Llama-3.1-8B-Instruct, outputs/lora_sft) outputs batch_infer(model, tokenizer, instructions) for inst, out in zip(instructions, outputs): print(f指令{inst}\n输出{out}\n{-*40})这段脚本的关键在 prompt 构造。Llama3.1 的 chat template 必须严格按|start_header_id|user|end_header_id|的格式少一个换行都会导致输出质量下降。do_sampleFalse用贪心解码保证可复现验证阶段不要开采样。repetition_penalty1.1是防重复的兜底参数正常模型不会触发但过拟合模型能靠它救回来。验证时重点看三个指标指令遵循率、输出长度分布、以及和基座的差异度。指令遵循率靠人工抽检 50 条输出长度用脚本统计差异度可以用 BLEU 或 ROUGE 对比基座输出。如果 LoRA 版和基座版输出几乎一样说明学习率太低或 rank 太小模型没学到东西。如果输出长度普遍比基座短很多说明模型学会了「早停」可能是 eos token 训练过度。我自己的习惯是每次微调都保留三份输出基座、LoRA、QLoRA放在同一个表格里对比。QLoRA 在指令遵循上通常比 LoRA 差 1-3 个百分点但在显存受限时这是唯一能跑的选择。如果 QLoRA 和 LoRA 差距超过 5 个百分点检查 4bit 量化配置把bnb_4bit_quant_type从 nf4 换成 fp4 试试某些数据集上 fp4 反而更稳。最后说一个血泪教训不要用训练集里的样本做验证。我见过太多人拿训练数据测输出完美一上真实流量就崩。验证集必须从训练数据里切出来或者干脆重新标 100 条。微调不是魔法它只是让模型在你的数据分布上更贴合泛化能力还是取决于数据质量和多样性。希望帮到你。本文还有配套的精品资源点击获取