LoRA先融合再量化Model Optimizer扩散模型量化部署的完整指南【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer 使用Model OptimizerNVIDIA 开源的统一模型优化库部署扩散模型时一个容易被忽略却决定成败的细节是LoRA 必须先融合、再量化。本文将带你走通 加载 LoRA → 融合权重 → INT8/FP8 量化 → TensorRT 部署 的标准姿势帮助新手一次性避开性能陷阱让 SDXL、FLUX 等扩散模型在 TensorRT、TensorRT-LLM、vLLM 等推理框架上跑得更快、更稳。一、为什么 LoRA 要先融合再量化很多团队习惯把 LoRA 适配器挂在模型上热插拔但一旦模型要做INT8/FP8 量化这个习惯就会变成隐患。做法结果❌ 带着未融合的 LoRA 层直接量化TensorRT 在整合 LoRA 层与 QDQ量化-反量化节点时内核融合被打断可能出现明显性能损失✅ 先fuse_lora把权重合并进基座再量化计算图干净量化校准数据覆盖真实权重推理性能最优Model Optimizer 官方在扩散模型示例中明确建议We highly recommend fusing the LoRA weights prior to quantization.强烈建议在量化前融合 LoRA 权重。更贴心的是官方量化脚本会在量化前主动做检查——utils.py 中的check_lora函数会遍历 UNet/Transformer一旦发现还存在未融合的LoRACompatibleLinear或 PEFT 的 LoRA 层直接抛出断言错误提示你先融合。相当于给流程加了一道保险丝。 补充Model Optimizer 在 modelopt/torch/quantization/plugins/peft.py 中为 PEFT LoRA 线性层注册了专门的量化模块支持 QLoRA 场景下的假量化训练但真实量化部署仍推荐先融合这条路。二、LoRA 融合三步走以 SDXL 为例融合流程非常简单只有三步完整示例见 examples/diffusers/README.md 的 LoRA 章节# 1. 加载基座模型 pipe DiffusionPipeline.from_pretrained(stabilityai/stable-diffusion-xl-base-1.0, torch_dtypetorch.float16) pipe pipe.to(cuda) # 2. 加载 LoRA 权重 pipe.load_lora_weights(CiroN2022/toy-face, weight_nametoy_face_sdxl.safetensors, adapter_nametoy) # 3. 按缩放比例融合进基座 pipe.fuse_lora(lora_scale0.9) check_lora(pipe.unet) # 校验所有 LoRA 层均已融合常见坑lora_scale要与训练时的缩放系数一致否则融合后的权重会偏强或偏弱多个 LoRA 叠加时融合前确认adapter_name与lora_scale对应关系。三、量化主流程一次校准多格式输出融合完成后只需用一小批提示词通常 32~256 条做校准Model Optimizer 就能完成量化import modelopt.torch.quantization as mtq import modelopt.torch.opt as mto mtq.quantize(pipe.unet, quant_config, forward_loop) # 插入量化器 校准 mto.save(pipe.unet, ./sdxl_unet_int8.pt) # 保存量化检查点 想直接上手仓库提供了开箱即用的脚本 quantize.py一条命令支持 SDXL、SD3、FLUX 等主流模型python quantize.py --model sdxl-1.0 --format int8 --batch-size 2 \ --calib-size 32 --alpha 0.8 --n-steps 20 \ --quantized-torch-ckpt-save-path ./sdxl_int8.pt关键参数速查详见 README参数推荐值说明--formatint8/fp8/fp4目标精度FP4NVFP4需 Blackwell GPU--calib-sizeINT8: 32~64FP8: 128校准样本数越多越稳--alpha0.8SmoothQuant 平滑因子仅 INT8 线性层--n-steps20校准时的去噪步数量化配置INT8/FP8/NVFP4 默认配方集中在 config.py可按模型微调。量化后的 SDXL 出图效果几乎无损官方对比图如下SDXL FP16 原始SDXL INT8 量化四、导出部署ONNX TensorRT 一条龙量化检查点保存后有三条部署路径可选ONNX-TRT-Deployment.mdONNX → TensorRT Enginetrtexec一条命令编译 INT8/FP8 backbone替换 demoDiffusion 中的 FP16 engine 即可端到端出图backbone 通常占扩散总耗时 95% 以上收益最大Hugging Face 检查点导出加--hf-ckpt-dir参数直接喂给 SGLang / vLLM / TensorRT-LLMPyTorch 直接跑用mto.restore恢复量化状态便于快速验证精度。⚠️注意ONNX 导出时要先加载已融合 LoRA 的模型再mto.restore量化检查点否则计算图对不上pipe.fuse_lora(lora_scale0.9) # 先融合 mto.restore(pipe.unet, your_quantized_ckpt) # 再恢复量化 # 导出 ONNX...五、加分项Cache Diffusion 再提速量化解决精度Cache Diffusion解决重复计算——它在相邻去噪步之间复用缓存的中间结果免训练、不掉质量与量化完全正交、可叠加使用通过cachify.prepare(pipe, SDXL_DEFAULT_CONFIG)两行代码即可启用官方示例见 cache_diffusion/example.ipynb。六、新手避坑清单 先融合、后量化量化前务必跑check_lora确认无残留 LoRA 层校准集要像业务用贴近实际 prompt 分布的数据集校准量化误差更小随机性提示扩散管线采样含随机数每次校准的 amax 可能不同建议多跑几次挑最佳检查点精度兜底若 PTQ 效果不达标可升级 QAT/QADquantization/README 提供完整示例。七、核心资料索引资料路径扩散模型优化总入口examples/diffusers/README.md一键量化脚本examples/diffusers/quantization/quantize.pyLoRA 融合校验逻辑examples/diffusers/quantization/utils.pyONNX/TensorRT 部署指南examples/diffusers/quantization/ONNX-TRT-Deployment.mdPEFT LoRA 量化插件modelopt/torch/quantization/plugins/peft.py量化器实现modelopt/torch/quantization一句话总结LoRA 先融合、校准做扎实、量化选对格式、导出对齐计算图——按这个标准姿势走扩散模型部署的加速收益就能稳稳落地。【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LoRA先融合再量化：Model Optimizer扩散模型量化部署的完整指南
LoRA先融合再量化Model Optimizer扩散模型量化部署的完整指南【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer 使用Model OptimizerNVIDIA 开源的统一模型优化库部署扩散模型时一个容易被忽略却决定成败的细节是LoRA 必须先融合、再量化。本文将带你走通 加载 LoRA → 融合权重 → INT8/FP8 量化 → TensorRT 部署 的标准姿势帮助新手一次性避开性能陷阱让 SDXL、FLUX 等扩散模型在 TensorRT、TensorRT-LLM、vLLM 等推理框架上跑得更快、更稳。一、为什么 LoRA 要先融合再量化很多团队习惯把 LoRA 适配器挂在模型上热插拔但一旦模型要做INT8/FP8 量化这个习惯就会变成隐患。做法结果❌ 带着未融合的 LoRA 层直接量化TensorRT 在整合 LoRA 层与 QDQ量化-反量化节点时内核融合被打断可能出现明显性能损失✅ 先fuse_lora把权重合并进基座再量化计算图干净量化校准数据覆盖真实权重推理性能最优Model Optimizer 官方在扩散模型示例中明确建议We highly recommend fusing the LoRA weights prior to quantization.强烈建议在量化前融合 LoRA 权重。更贴心的是官方量化脚本会在量化前主动做检查——utils.py 中的check_lora函数会遍历 UNet/Transformer一旦发现还存在未融合的LoRACompatibleLinear或 PEFT 的 LoRA 层直接抛出断言错误提示你先融合。相当于给流程加了一道保险丝。 补充Model Optimizer 在 modelopt/torch/quantization/plugins/peft.py 中为 PEFT LoRA 线性层注册了专门的量化模块支持 QLoRA 场景下的假量化训练但真实量化部署仍推荐先融合这条路。二、LoRA 融合三步走以 SDXL 为例融合流程非常简单只有三步完整示例见 examples/diffusers/README.md 的 LoRA 章节# 1. 加载基座模型 pipe DiffusionPipeline.from_pretrained(stabilityai/stable-diffusion-xl-base-1.0, torch_dtypetorch.float16) pipe pipe.to(cuda) # 2. 加载 LoRA 权重 pipe.load_lora_weights(CiroN2022/toy-face, weight_nametoy_face_sdxl.safetensors, adapter_nametoy) # 3. 按缩放比例融合进基座 pipe.fuse_lora(lora_scale0.9) check_lora(pipe.unet) # 校验所有 LoRA 层均已融合常见坑lora_scale要与训练时的缩放系数一致否则融合后的权重会偏强或偏弱多个 LoRA 叠加时融合前确认adapter_name与lora_scale对应关系。三、量化主流程一次校准多格式输出融合完成后只需用一小批提示词通常 32~256 条做校准Model Optimizer 就能完成量化import modelopt.torch.quantization as mtq import modelopt.torch.opt as mto mtq.quantize(pipe.unet, quant_config, forward_loop) # 插入量化器 校准 mto.save(pipe.unet, ./sdxl_unet_int8.pt) # 保存量化检查点 想直接上手仓库提供了开箱即用的脚本 quantize.py一条命令支持 SDXL、SD3、FLUX 等主流模型python quantize.py --model sdxl-1.0 --format int8 --batch-size 2 \ --calib-size 32 --alpha 0.8 --n-steps 20 \ --quantized-torch-ckpt-save-path ./sdxl_int8.pt关键参数速查详见 README参数推荐值说明--formatint8/fp8/fp4目标精度FP4NVFP4需 Blackwell GPU--calib-sizeINT8: 32~64FP8: 128校准样本数越多越稳--alpha0.8SmoothQuant 平滑因子仅 INT8 线性层--n-steps20校准时的去噪步数量化配置INT8/FP8/NVFP4 默认配方集中在 config.py可按模型微调。量化后的 SDXL 出图效果几乎无损官方对比图如下SDXL FP16 原始SDXL INT8 量化四、导出部署ONNX TensorRT 一条龙量化检查点保存后有三条部署路径可选ONNX-TRT-Deployment.mdONNX → TensorRT Enginetrtexec一条命令编译 INT8/FP8 backbone替换 demoDiffusion 中的 FP16 engine 即可端到端出图backbone 通常占扩散总耗时 95% 以上收益最大Hugging Face 检查点导出加--hf-ckpt-dir参数直接喂给 SGLang / vLLM / TensorRT-LLMPyTorch 直接跑用mto.restore恢复量化状态便于快速验证精度。⚠️注意ONNX 导出时要先加载已融合 LoRA 的模型再mto.restore量化检查点否则计算图对不上pipe.fuse_lora(lora_scale0.9) # 先融合 mto.restore(pipe.unet, your_quantized_ckpt) # 再恢复量化 # 导出 ONNX...五、加分项Cache Diffusion 再提速量化解决精度Cache Diffusion解决重复计算——它在相邻去噪步之间复用缓存的中间结果免训练、不掉质量与量化完全正交、可叠加使用通过cachify.prepare(pipe, SDXL_DEFAULT_CONFIG)两行代码即可启用官方示例见 cache_diffusion/example.ipynb。六、新手避坑清单 先融合、后量化量化前务必跑check_lora确认无残留 LoRA 层校准集要像业务用贴近实际 prompt 分布的数据集校准量化误差更小随机性提示扩散管线采样含随机数每次校准的 amax 可能不同建议多跑几次挑最佳检查点精度兜底若 PTQ 效果不达标可升级 QAT/QADquantization/README 提供完整示例。七、核心资料索引资料路径扩散模型优化总入口examples/diffusers/README.md一键量化脚本examples/diffusers/quantization/quantize.pyLoRA 融合校验逻辑examples/diffusers/quantization/utils.pyONNX/TensorRT 部署指南examples/diffusers/quantization/ONNX-TRT-Deployment.mdPEFT LoRA 量化插件modelopt/torch/quantization/plugins/peft.py量化器实现modelopt/torch/quantization一句话总结LoRA 先融合、校准做扎实、量化选对格式、导出对齐计算图——按这个标准姿势走扩散模型部署的加速收益就能稳稳落地。【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考