1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会下意识地把它和“训练优化器”混为一谈。Adam、SGD、RMSprop 这些是训练时用来更新梯度的算法而 Model-Optimizer 是另一回事——它是一套在模型训练完成之后、部署上线之前对模型本身做“瘦身”和“提速”的工具链。你可以把它理解成给模型做一次全面的体检加整形量化、剪枝、蒸馏、算子融合、图优化这些手段都归它管。我最初接触这类工具是因为一个很现实的问题一个在服务器上跑得好好的模型放到边缘设备上要么内存爆掉要么推理延迟高得没法用。Model-Optimizer 解决的正是这个“最后一公里”的问题。它适合的人群其实比想象中广——做端侧部署的工程师、需要控制推理成本的算法团队、甚至是想在消费级显卡上跑大模型的个人开发者都能从中获益。这篇文章我会从整体设计思路讲到具体实操把量化、剪枝、蒸馏这几条主线拆开揉碎配上参数计算和踩坑记录。不管你是刚听说 Model-Optimizer 的新手还是已经用过但总觉得效果不达预期的老手应该都能找到能直接抄作业的部分。2. 整体设计思路与方案选型拆解2.1 为什么优化要分层次做模型优化不是单一操作而是一个有先后顺序的流水线。我见过不少人一上来就做量化结果精度掉得厉害回头再想剪枝发现结构已经乱了。合理的顺序应该是先做结构层面的优化剪枝、蒸馏再做数值层面的优化量化最后做图层面的优化算子融合、常量折叠。这个顺序背后的逻辑很简单。剪枝会改变模型的通道数和层结构如果你先量化再剪枝量化时校准出来的缩放因子在剪枝后就失效了得重新校准一遍白白浪费算力。蒸馏则是用大模型教小模型属于训练阶段的事必须在推理优化之前完成。至于算子融合它不改变模型精度放在最后做最安全。注意如果你的模型还要继续微调量化最好放在微调之后。量化后的模型虽然可以继续训练但梯度精度损失会让微调效果打折扣。2.2 量化、剪枝、蒸馏怎么选这三者的适用场景差别很大选错了不仅没收益还可能把模型搞坏。优化手段核心作用精度影响适用场景实现难度量化降低数值精度减少内存和带宽中低推理部署尤其是端侧低剪枝移除冗余权重或通道中高模型明显过参数化时中蒸馏用大模型指导小模型低甚至提升需要小模型但精度要求高高量化是最通用、收益最直接的手段。把 FP32 换成 INT8模型体积直接缩小到四分之一推理速度在支持 INT8 指令集的硬件上能提升 2 到 4 倍。剪枝适合那些明显“虚胖”的模型比如某些层通道数几百但实际有效通道只有几十。蒸馏则是在你有一个大模型、又必须部署小模型的场景下最划算但它需要重新训练成本最高。我的建议是先做量化看精度是否达标不达标再考虑量化感知训练如果模型结构本身冗余严重再叠加剪枝。蒸馏作为最后手段因为它需要完整的训练流程。2.3 静态量化与动态量化的取舍量化又分静态和动态两种这个选择直接影响部署复杂度。动态量化在推理时实时计算激活值的缩放因子不需要校准数据实现简单但每次推理都有额外计算开销。静态量化则提前用校准数据集统计激活值分布把缩放因子固化到模型里推理时没有额外开销速度更快但需要准备有代表性的校准数据。我实测下来在 Transformer 类模型上动态量化对精度更友好但速度提升有限静态量化速度提升明显但如果校准数据分布和实际输入差异大精度会崩。所以如果你的输入分布比较稳定比如固定的图像分类任务静态量化是首选如果输入变化很大比如开放域文本生成动态量化更稳妥。3. 核心细节解析与实操要点3.1 量化参数的计算过程量化的核心是把浮点数映射到整数。以 INT8 为例映射公式是real_value scale * (quantized_value - zero_point)其中 scale 是缩放因子zero_point 是零点偏移。这两个参数怎么来的对于对称量化zero_point 固定为 0scale 等于浮点范围的最大绝对值除以 127。对于非对称量化scale 等于最大值减最小值除以 255zero_point 则用来对齐浮点零点和整数零点。举个例子假设某层激活值的范围是 [-2.5, 3.7]。对称量化时scale 3.7 / 127 ≈ 0.0291那么浮点值 1.0 对应的整数值就是 round(1.0 / 0.0291) 34。非对称量化时scale (3.7 - (-2.5)) / 255 ≈ 0.0243zero_point round(-2.5 / 0.0243) ≈ -103实际存储时会偏移到 [0, 255] 范围内。提示校准数据的质量直接决定量化精度。我一般会从验证集里随机抽 100 到 500 个样本做校准太少统计不准太多没必要。3.2 剪枝的粒度选择剪枝分非结构化剪枝和结构化剪枝。非结构化剪枝把单个权重置零压缩率高但需要稀疏计算库支持实际加速效果有限。结构化剪枝直接删掉整个通道或整个注意力头不需要特殊硬件支持加速效果立竿见影。结构化剪枝的关键是判断哪些通道可以删。常用的判据是通道权重的 L2 范数范数越小说明该通道贡献越小。但直接按范数排序删通道会破坏层与层之间的通道对应关系所以实际实现时会用依赖图分析把相互依赖的通道分组整组一起删。我踩过的一个坑是剪枝后没有同步调整后续层的输入通道数导致推理时维度不匹配。所以剪枝工具一定要能自动传播通道变化手动改模型结构很容易出错。3.3 蒸馏的温度与损失权重蒸馏的核心是让学生模型模仿教师模型的输出分布。这里有两个关键超参数温度 T 和损失权重 α。温度 T 用来软化教师模型的输出概率分布。T 越大分布越平滑学生模型能学到更多“暗知识”。但 T 太大会让分布过于均匀失去区分度。经验值一般在 2 到 10 之间我通常从 4 开始试。损失函数是学生模型硬标签损失和软标签蒸馏损失的加权和loss α * hard_loss (1 - α) * T^2 * soft_loss注意软标签损失要乘以 T 的平方这是为了在梯度上补偿温度带来的缩放。α 一般取 0.1 到 0.5教师模型越强α 可以越小让学生更多依赖软标签。4. 实操过程与核心环节实现4.1 环境准备与依赖安装我习惯用 Python 虚拟环境隔离依赖避免版本冲突。Model-Optimizer 这类工具通常对 PyTorch 或 TensorFlow 版本有要求装之前先确认框架版本。python -m venv opt_env source opt_env/bin/activate pip install torch2.1.0 torchvision0.16.0 pip install model-optimizer-toolkit如果你的模型是 ONNX 格式还需要装 onnx 和 onnxruntime。我建议把优化后的模型导出成 ONNX这样部署时和训练框架解耦灵活性更高。4.2 静态量化完整流程下面以 PyTorch 模型为例走一遍静态量化的完整流程。第一步准备校准数据加载器。校准数据不需要标签只需要输入。calib_loader torch.utils.data.DataLoader( calib_dataset, batch_size32, shuffleFalse )第二步配置量化方案。我一般用 FBGEMM 后端它对服务器 CPU 支持最好如果是 ARM 设备换成 QNNPACK。import torch.quantization as tq model.eval() model.qconfig tq.get_default_qconfig(fbgemm) model_prepared tq.prepare(model, inplaceFalse)第三步跑校准数据统计激活值分布。with torch.no_grad(): for inputs, _ in calib_loader: model_prepared(inputs)第四步转换为量化模型。model_quantized tq.convert(model_prepared, inplaceFalse)整个过程最耗时的是校准这一步100 个 batch 大概几分钟。转换后的模型体积应该缩小到原来的四分之一左右如果没达到检查一下是不是有些层被跳过了。4.3 结构化剪枝的实现细节剪枝我用的是基于通道重要性的迭代式剪枝。先训练一个基线模型然后逐层计算通道重要性按比例剪掉最不重要的通道再微调恢复精度。def compute_channel_importance(conv_layer): weights conv_layer.weight.data return weights.abs().sum(dim(1, 2, 3)) def prune_channels(conv_layer, prune_ratio): importance compute_channel_importance(conv_layer) num_keep int(len(importance) * (1 - prune_ratio)) keep_indices importance.topk(num_keep).indices return keep_indices剪枝比例我一般从 0.1 开始每次增加 0.05直到精度掉超过 1% 就停。一次性剪太多很难恢复迭代式剪枝虽然慢但效果稳。注意剪枝后一定要微调。我试过不微调直接部署精度掉了 8 个点微调 10 个 epoch 后恢复到只掉 0.5 个点。4.4 蒸馏训练的关键配置蒸馏需要同时加载教师和学生模型教师模型冻结参数只做前向传播。teacher.eval() for param in teacher.parameters(): param.requires_grad False student.train() optimizer torch.optim.Adam(student.parameters(), lr1e-4) for inputs, labels in train_loader: with torch.no_grad(): teacher_logits teacher(inputs) student_logits student(inputs) hard_loss F.cross_entropy(student_logits, labels) soft_loss F.kl_div( F.log_softmax(student_logits / T, dim1), F.softmax(teacher_logits / T, dim1), reductionbatchmean ) loss alpha * hard_loss (1 - alpha) * T * T * soft_loss optimizer.zero_grad() loss.backward() optimizer.step()蒸馏训练时间通常比从头训练短因为学生模型有教师指导收敛更快。我一般训练 20 到 30 个 epoch 就能达到不错的效果。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么排查量化后精度掉得厉害按这个顺序排查排查项可能原因解决方法校准数据分布不具代表性从验证集分层抽样敏感层某些层对量化敏感跳过这些层保持 FP32量化方案对称/非对称选错激活值用非对称权重用对称后端硬件不支持某些算子换后端或回退到 FP32我遇到最多的是校准数据问题。有一次用了一个偏斜严重的校准集量化后模型在少数类上几乎全错。后来改成按类别分层抽样问题就解决了。5.2 剪枝后模型无法加载剪枝改变了模型结构保存的 state_dict 和原始模型定义不匹配。解决办法是保存剪枝后的完整模型定义或者用剪枝工具提供的序列化接口。我一般直接保存整个模型对象虽然文件大一点但省去了重建结构的麻烦。5.3 蒸馏学生模型不收敛学生模型不收敛通常是温度或学习率设置不当。温度太高会让软标签过于平滑学生学不到有效信息学习率太大则会让训练震荡。我的经验是温度从 4 开始学习率比正常训练小一个数量级如果还不收敛检查一下教师模型的输出是否正常。5.4 优化后推理速度没提升模型体积小了但速度没变多半是硬件不支持量化指令。INT8 加速需要硬件有对应的指令集老款 CPU 或某些移动端芯片可能不支持。这时候可以试试 FP16 量化兼容性更好虽然压缩率不如 INT8但至少能吃到一半的加速。6. 工具选型与组合策略6.1 主流工具的能力边界Model-Optimizer 不是某一个具体工具而是一类工具的统称。PyTorch 自带的 torch.quantization 适合快速验证但剪枝和蒸馏支持较弱。NNCF 在量化方面更专业支持多种后端。TensorRT 则是 NVIDIA 平台上的终极方案算子融合和量化都做得很好但绑定硬件。我的组合策略是训练阶段用 PyTorch 原生工具做蒸馏推理优化用 NNCF 做量化和剪枝最后导出 ONNX 用 ONNX Runtime 部署。这样每一环都用最擅长的工具整体效果最好。6.2 优化流水线的自动化手动跑一遍优化流程很繁琐我把它封装成了一个配置文件驱动的流水线。配置文件里指定优化类型、参数、校准数据路径脚本自动按顺序执行。optimization: - type: distillation teacher: models/teacher.pth temperature: 4.0 alpha: 0.3 - type: pruning ratio: 0.2 finetune_epochs: 10 - type: quantization mode: static backend: fbgemm calib_samples: 200这样换模型时只需要改配置不用改代码。自动化之后我跑一次完整优化的时间从半天缩短到两小时。7. 我在实际项目中的几点体会做模型优化这几年最大的感受是没有银弹。同一个优化方案在这个模型上效果拔群换个模型可能完全没用。所以每次优化都要重新评估不能照搬之前的参数。另一个体会是优化前的基线一定要测准。我见过有人优化后精度掉了 2 个点但基线本身就没测准实际可能只掉了 0.5 个点。基线不准后面的所有对比都是空中楼阁。最后分享一个小技巧优化过程中保留每一步的中间模型。量化前的、剪枝后的、蒸馏完的都存一份。这样如果最终效果不理想可以快速定位是哪一步出了问题不用从头再来。这个习惯帮我省了很多返工的时间。 Model-Optimizer模型优化实战：量化、剪枝与蒸馏全解析
1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会下意识地把它和“训练优化器”混为一谈。Adam、SGD、RMSprop 这些是训练时用来更新梯度的算法而 Model-Optimizer 是另一回事——它是一套在模型训练完成之后、部署上线之前对模型本身做“瘦身”和“提速”的工具链。你可以把它理解成给模型做一次全面的体检加整形量化、剪枝、蒸馏、算子融合、图优化这些手段都归它管。我最初接触这类工具是因为一个很现实的问题一个在服务器上跑得好好的模型放到边缘设备上要么内存爆掉要么推理延迟高得没法用。Model-Optimizer 解决的正是这个“最后一公里”的问题。它适合的人群其实比想象中广——做端侧部署的工程师、需要控制推理成本的算法团队、甚至是想在消费级显卡上跑大模型的个人开发者都能从中获益。这篇文章我会从整体设计思路讲到具体实操把量化、剪枝、蒸馏这几条主线拆开揉碎配上参数计算和踩坑记录。不管你是刚听说 Model-Optimizer 的新手还是已经用过但总觉得效果不达预期的老手应该都能找到能直接抄作业的部分。2. 整体设计思路与方案选型拆解2.1 为什么优化要分层次做模型优化不是单一操作而是一个有先后顺序的流水线。我见过不少人一上来就做量化结果精度掉得厉害回头再想剪枝发现结构已经乱了。合理的顺序应该是先做结构层面的优化剪枝、蒸馏再做数值层面的优化量化最后做图层面的优化算子融合、常量折叠。这个顺序背后的逻辑很简单。剪枝会改变模型的通道数和层结构如果你先量化再剪枝量化时校准出来的缩放因子在剪枝后就失效了得重新校准一遍白白浪费算力。蒸馏则是用大模型教小模型属于训练阶段的事必须在推理优化之前完成。至于算子融合它不改变模型精度放在最后做最安全。注意如果你的模型还要继续微调量化最好放在微调之后。量化后的模型虽然可以继续训练但梯度精度损失会让微调效果打折扣。2.2 量化、剪枝、蒸馏怎么选这三者的适用场景差别很大选错了不仅没收益还可能把模型搞坏。优化手段核心作用精度影响适用场景实现难度量化降低数值精度减少内存和带宽中低推理部署尤其是端侧低剪枝移除冗余权重或通道中高模型明显过参数化时中蒸馏用大模型指导小模型低甚至提升需要小模型但精度要求高高量化是最通用、收益最直接的手段。把 FP32 换成 INT8模型体积直接缩小到四分之一推理速度在支持 INT8 指令集的硬件上能提升 2 到 4 倍。剪枝适合那些明显“虚胖”的模型比如某些层通道数几百但实际有效通道只有几十。蒸馏则是在你有一个大模型、又必须部署小模型的场景下最划算但它需要重新训练成本最高。我的建议是先做量化看精度是否达标不达标再考虑量化感知训练如果模型结构本身冗余严重再叠加剪枝。蒸馏作为最后手段因为它需要完整的训练流程。2.3 静态量化与动态量化的取舍量化又分静态和动态两种这个选择直接影响部署复杂度。动态量化在推理时实时计算激活值的缩放因子不需要校准数据实现简单但每次推理都有额外计算开销。静态量化则提前用校准数据集统计激活值分布把缩放因子固化到模型里推理时没有额外开销速度更快但需要准备有代表性的校准数据。我实测下来在 Transformer 类模型上动态量化对精度更友好但速度提升有限静态量化速度提升明显但如果校准数据分布和实际输入差异大精度会崩。所以如果你的输入分布比较稳定比如固定的图像分类任务静态量化是首选如果输入变化很大比如开放域文本生成动态量化更稳妥。3. 核心细节解析与实操要点3.1 量化参数的计算过程量化的核心是把浮点数映射到整数。以 INT8 为例映射公式是real_value scale * (quantized_value - zero_point)其中 scale 是缩放因子zero_point 是零点偏移。这两个参数怎么来的对于对称量化zero_point 固定为 0scale 等于浮点范围的最大绝对值除以 127。对于非对称量化scale 等于最大值减最小值除以 255zero_point 则用来对齐浮点零点和整数零点。举个例子假设某层激活值的范围是 [-2.5, 3.7]。对称量化时scale 3.7 / 127 ≈ 0.0291那么浮点值 1.0 对应的整数值就是 round(1.0 / 0.0291) 34。非对称量化时scale (3.7 - (-2.5)) / 255 ≈ 0.0243zero_point round(-2.5 / 0.0243) ≈ -103实际存储时会偏移到 [0, 255] 范围内。提示校准数据的质量直接决定量化精度。我一般会从验证集里随机抽 100 到 500 个样本做校准太少统计不准太多没必要。3.2 剪枝的粒度选择剪枝分非结构化剪枝和结构化剪枝。非结构化剪枝把单个权重置零压缩率高但需要稀疏计算库支持实际加速效果有限。结构化剪枝直接删掉整个通道或整个注意力头不需要特殊硬件支持加速效果立竿见影。结构化剪枝的关键是判断哪些通道可以删。常用的判据是通道权重的 L2 范数范数越小说明该通道贡献越小。但直接按范数排序删通道会破坏层与层之间的通道对应关系所以实际实现时会用依赖图分析把相互依赖的通道分组整组一起删。我踩过的一个坑是剪枝后没有同步调整后续层的输入通道数导致推理时维度不匹配。所以剪枝工具一定要能自动传播通道变化手动改模型结构很容易出错。3.3 蒸馏的温度与损失权重蒸馏的核心是让学生模型模仿教师模型的输出分布。这里有两个关键超参数温度 T 和损失权重 α。温度 T 用来软化教师模型的输出概率分布。T 越大分布越平滑学生模型能学到更多“暗知识”。但 T 太大会让分布过于均匀失去区分度。经验值一般在 2 到 10 之间我通常从 4 开始试。损失函数是学生模型硬标签损失和软标签蒸馏损失的加权和loss α * hard_loss (1 - α) * T^2 * soft_loss注意软标签损失要乘以 T 的平方这是为了在梯度上补偿温度带来的缩放。α 一般取 0.1 到 0.5教师模型越强α 可以越小让学生更多依赖软标签。4. 实操过程与核心环节实现4.1 环境准备与依赖安装我习惯用 Python 虚拟环境隔离依赖避免版本冲突。Model-Optimizer 这类工具通常对 PyTorch 或 TensorFlow 版本有要求装之前先确认框架版本。python -m venv opt_env source opt_env/bin/activate pip install torch2.1.0 torchvision0.16.0 pip install model-optimizer-toolkit如果你的模型是 ONNX 格式还需要装 onnx 和 onnxruntime。我建议把优化后的模型导出成 ONNX这样部署时和训练框架解耦灵活性更高。4.2 静态量化完整流程下面以 PyTorch 模型为例走一遍静态量化的完整流程。第一步准备校准数据加载器。校准数据不需要标签只需要输入。calib_loader torch.utils.data.DataLoader( calib_dataset, batch_size32, shuffleFalse )第二步配置量化方案。我一般用 FBGEMM 后端它对服务器 CPU 支持最好如果是 ARM 设备换成 QNNPACK。import torch.quantization as tq model.eval() model.qconfig tq.get_default_qconfig(fbgemm) model_prepared tq.prepare(model, inplaceFalse)第三步跑校准数据统计激活值分布。with torch.no_grad(): for inputs, _ in calib_loader: model_prepared(inputs)第四步转换为量化模型。model_quantized tq.convert(model_prepared, inplaceFalse)整个过程最耗时的是校准这一步100 个 batch 大概几分钟。转换后的模型体积应该缩小到原来的四分之一左右如果没达到检查一下是不是有些层被跳过了。4.3 结构化剪枝的实现细节剪枝我用的是基于通道重要性的迭代式剪枝。先训练一个基线模型然后逐层计算通道重要性按比例剪掉最不重要的通道再微调恢复精度。def compute_channel_importance(conv_layer): weights conv_layer.weight.data return weights.abs().sum(dim(1, 2, 3)) def prune_channels(conv_layer, prune_ratio): importance compute_channel_importance(conv_layer) num_keep int(len(importance) * (1 - prune_ratio)) keep_indices importance.topk(num_keep).indices return keep_indices剪枝比例我一般从 0.1 开始每次增加 0.05直到精度掉超过 1% 就停。一次性剪太多很难恢复迭代式剪枝虽然慢但效果稳。注意剪枝后一定要微调。我试过不微调直接部署精度掉了 8 个点微调 10 个 epoch 后恢复到只掉 0.5 个点。4.4 蒸馏训练的关键配置蒸馏需要同时加载教师和学生模型教师模型冻结参数只做前向传播。teacher.eval() for param in teacher.parameters(): param.requires_grad False student.train() optimizer torch.optim.Adam(student.parameters(), lr1e-4) for inputs, labels in train_loader: with torch.no_grad(): teacher_logits teacher(inputs) student_logits student(inputs) hard_loss F.cross_entropy(student_logits, labels) soft_loss F.kl_div( F.log_softmax(student_logits / T, dim1), F.softmax(teacher_logits / T, dim1), reductionbatchmean ) loss alpha * hard_loss (1 - alpha) * T * T * soft_loss optimizer.zero_grad() loss.backward() optimizer.step()蒸馏训练时间通常比从头训练短因为学生模型有教师指导收敛更快。我一般训练 20 到 30 个 epoch 就能达到不错的效果。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么排查量化后精度掉得厉害按这个顺序排查排查项可能原因解决方法校准数据分布不具代表性从验证集分层抽样敏感层某些层对量化敏感跳过这些层保持 FP32量化方案对称/非对称选错激活值用非对称权重用对称后端硬件不支持某些算子换后端或回退到 FP32我遇到最多的是校准数据问题。有一次用了一个偏斜严重的校准集量化后模型在少数类上几乎全错。后来改成按类别分层抽样问题就解决了。5.2 剪枝后模型无法加载剪枝改变了模型结构保存的 state_dict 和原始模型定义不匹配。解决办法是保存剪枝后的完整模型定义或者用剪枝工具提供的序列化接口。我一般直接保存整个模型对象虽然文件大一点但省去了重建结构的麻烦。5.3 蒸馏学生模型不收敛学生模型不收敛通常是温度或学习率设置不当。温度太高会让软标签过于平滑学生学不到有效信息学习率太大则会让训练震荡。我的经验是温度从 4 开始学习率比正常训练小一个数量级如果还不收敛检查一下教师模型的输出是否正常。5.4 优化后推理速度没提升模型体积小了但速度没变多半是硬件不支持量化指令。INT8 加速需要硬件有对应的指令集老款 CPU 或某些移动端芯片可能不支持。这时候可以试试 FP16 量化兼容性更好虽然压缩率不如 INT8但至少能吃到一半的加速。6. 工具选型与组合策略6.1 主流工具的能力边界Model-Optimizer 不是某一个具体工具而是一类工具的统称。PyTorch 自带的 torch.quantization 适合快速验证但剪枝和蒸馏支持较弱。NNCF 在量化方面更专业支持多种后端。TensorRT 则是 NVIDIA 平台上的终极方案算子融合和量化都做得很好但绑定硬件。我的组合策略是训练阶段用 PyTorch 原生工具做蒸馏推理优化用 NNCF 做量化和剪枝最后导出 ONNX 用 ONNX Runtime 部署。这样每一环都用最擅长的工具整体效果最好。6.2 优化流水线的自动化手动跑一遍优化流程很繁琐我把它封装成了一个配置文件驱动的流水线。配置文件里指定优化类型、参数、校准数据路径脚本自动按顺序执行。optimization: - type: distillation teacher: models/teacher.pth temperature: 4.0 alpha: 0.3 - type: pruning ratio: 0.2 finetune_epochs: 10 - type: quantization mode: static backend: fbgemm calib_samples: 200这样换模型时只需要改配置不用改代码。自动化之后我跑一次完整优化的时间从半天缩短到两小时。7. 我在实际项目中的几点体会做模型优化这几年最大的感受是没有银弹。同一个优化方案在这个模型上效果拔群换个模型可能完全没用。所以每次优化都要重新评估不能照搬之前的参数。另一个体会是优化前的基线一定要测准。我见过有人优化后精度掉了 2 个点但基线本身就没测准实际可能只掉了 0.5 个点。基线不准后面的所有对比都是空中楼阁。最后分享一个小技巧优化过程中保留每一步的中间模型。量化前的、剪枝后的、蒸馏完的都存一份。这样如果最终效果不理想可以快速定位是哪一步出了问题不用从头再来。这个习惯帮我省了很多返工的时间。