155、TinyML模型训练最佳实践：超参数调优

TinyML模型训练最佳实践：超参数调优昨晚调试一个手势识别模型到凌晨三点，模型在PC上跑得好好的，量化后部署到Cortex-M4上，准确率直接从92%掉到67%。翻来覆去查了一整夜，最后发现是学习率调度器在量化感知训练阶段没关掉——这种坑，踩一次记一辈子。今天把TinyML超参数调优的实战经验整理出来，全是血泪换来的教训。学习率：TinyML的命门先说学习率。在嵌入式场景下，模型参数本来就少，学习率设大了直接震荡到发散，设小了训练到地老天荒。我现在的经验法则：初始学习率从1e-3开始试，但必须配合学习率衰减。别问我为什么不是1e-2，问就是试过，模型在训练到第50个epoch时直接炸了，loss从0.3跳到NaN，白跑一整天。代码里这样写比较稳：# 这里踩过坑：直接用固定学习率，小模型容易过拟合initial_lr=1e-3# 别这样写：lr = 0.01，除非你想看loss跳舞学习率调度器我推荐用CosineAnnealing，配合warmup。warmup步数设成总步数的5%左右，让模型先“热身”再进入正式训练。这个技巧