186、8 种训练技巧的组合实验：Warmup+Cosine+EMA+SWA+Freeze 的叠加效果评估

186、8 种训练技巧的组合实验：Warmup+Cosine+EMA+SWA+Freeze 的叠加效果评估从一次翻车现场说起上个月帮一个做工业质检的朋友调YOLOv11的检测模型，他跑了一个300轮的训练，loss曲线漂亮得像教科书，mAP却卡在0.72死活上不去。我一看训练配置——Warmup开了3轮，Cosine学习率调度，EMA权重平均，SWA最后20轮，Backbone冻结了前50轮。乍一看该有的都有了，但仔细一算，这些技巧的叠加顺序和参数配合全乱了。比如SWA和EMA同时启用时，EMA的更新步长没做调整，导致SWA的权重被EMA的指数衰减给“稀释”了。更离谱的是，Freeze阶段结束后学习率已经降到了Cosine的底部，解冻后模型根本学不动。这个案例让我意识到，训练技巧不是堆得越多越好，组合实验必须做消融，否则就是“负优化”。今天这篇笔记，我就把8种常见训练技巧的叠加效果拆开揉碎，给出可复现的代码和实验数据。实验设计：8种技巧的排列组合先定义我们要测试的8种技巧：Warmup：前5轮线性升温，从0.0001到0.01Cosine Annealing：余弦退火，T_max=300，eta_min=1e-6EMA：指数移动平均，decay=0.9999，每轮更新