DINOv3训练调参实操手册批次大小、学习率、权重衰减的定参顺序与查表指南【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3 是 Meta AI 第三代自监督视觉基础模型的官方 PyTorch 参考实现仓库里同时提供从 ViT-Small 到 ViT-7B 各规模模型的预训练与下游任务配置。本文只讲一件事给 DINOv3 做 DINOv3 超参数调优学习率、权重衰减、批次大小时应该按什么顺序定参数、每个参数从哪个数值起步。读完你可以直接照表格改配置文件并拿到一套可执行的对照实验方案。三个参数不是各调各的。学习率的合理起点取决于总批次大小权重衰减的调度又和学习率曲线绑在一起所以本文按先批次 → 再学习率 → 后权重衰减的真实决策顺序展开最后给出场景速查表、故障排错对照表和验证实验清单。第一步先看硬件把批次大小定下来批次大小指每步训练一次送进 GPU 的图像张数它决定显存占用和单步梯度噪声是后面两个参数的地基。仓库里每个训练配置都有显式的train.batch_size_per_gpu键官方给各模型的基准如下模型规模每 GPU 批次大小集群规模总批次大小来源配置ViT-Small / ViT-Large644 节点32 GPU2048ViT-L 配置ViT-7B1632 节点512 GPU8192ViT-7B 预训练配置两条经验规则显存不够时优先砍batch_size_per_gpu而不是降分辨率因为裁剪窗口全局 224px 8 个 96px 局部裁剪是 DINOv3 特征质量的核心来源动批次不动裁剪。总批次大小尽量对齐 1024 的整数倍原因见下一节的缩放公式。第二步学习率从多大起步怎么跟着批次缩放学习率是参数每步更新的步长。仓库默认用 AdamWbeta10.9beta20.999ViT-7B 配置中 beta2 为 0.99各模型起步值差异很大不能照抄模型起始学习率预热 epoch衰减下限 min_lr梯度裁剪 clip_gradViT-Large0.001101.0e-63.0ViT-7B5.0e-05100—30.0ConvNeXt-Tiny蒸馏2e-480 / 500——ConvNeXt-Base / Large蒸馏1e-480 / 500——ConvNeXt 蒸馏配置的峰值学习率在 1e-4 到 2e-4 之间官方做法是在 1e-6 到 1e-4 区间内按模型规模网格搜索取最优配置放在 distillation_convnext 目录。定完起步值后还有一个关键动作批次大小一变学习率必须联动。仓库内置两种缩放规则optim.scaling_rule在dinov3/configs/config.py的apply_scaling_rules_to_cfg中自动生效linear_wrt_256线性lr × (batch_size_per_gpu × world_size) / 256即总批次相对 256 翻倍学习率同倍放大。sqrt_wrt_1024平方根默认值lr × 4 × sqrt(batch_size_per_gpu × world_size / 1024)比线性更保守大批次训练更稳ViT-7B 与 ViT-L 官方配置都用它。下游线性评测时另有独立的缩放函数在dinov3/eval/linear.py中scale_lr(learning_rates, batch_size)按(batch_size × world_size) / 256线性放大逻辑与预训练线性规则一致。第三步学习率曲线怎么画——线性预热加余弦退火结论先行DINOv3 的曲线是线性预热 余弦退火 末端常数段三段式实现见dinov3/train/cosine_lr_scheduler.py的linear_warmup_cosine_decay。各段取值要点预热段学习率从schedules.lr.start0线性爬升到 peak长度 warmup_epochs × OFFICIAL_EPOCH_LENGTH。ViT-L 为 10 个 epochViT-7B 拉到 100 个 epoch——批次越大预热越长用来消化大批次下的初始梯度波动。退火段余弦下降最低降到min_lrViT-L 配 1.0e-6避免训练末段学习率归零后特征不再微调。末端冻结freeze_last_layer_epochs控制输出层前 N 个 epoch 学习率强制为 0ViT-L 为 1ConvNeXt 蒸馏为 1给下游头留出稳定收敛窗口。权重衰减为什么从 0.04 爬到 0.4还要按层衰减权重衰减是对参数幅值施加的惩罚项用来抑制过拟合。DINOv3 的设定有三层基准值 0.04写在optim.weight_decayViT-L 和默认配置都用它开局。渐进到 0.4optim.weight_decay_end: 0.4训练过程中权重衰减随课程从 0.04 逐步升至 0.4前期松后期紧避免早期正则过强压制表征学习。ViT-7B 则是全程恒定 0.04schedules.weight_decay的 start/peak/end 均为 0.04大模型更依赖其自身的 drop_path 0.4 等结构正则。分层衰减layerwise_decay让浅层拿更小的衰减系数ViT-L 取 0.9ViT-7B 取 0.98越靠近顶层衰减越大dino_head_wd_multiplier: 1.0单独控制 DINO 输出头的衰减倍数。ConvNeXt 蒸馏配置中layerwise_decay: 1.0即不做分层区分。ViT-L 的完整核心段如下改配置时以这份为准batch_size_per_gpu: 64 lr: 0.001 warmup_epochs: 10 min_lr: 1.0e-06 weight_decay: 0.04 weight_decay_end: 0.4 scaling_rule: sqrt_wrt_1024 layerwise_decay: 0.9对应的完整文件见 vitl_im1k_lin834.yaml实测在总批次 2048 下达到 83.4% ImageNet-1K 线性精度。场景速查分类、分割、蒸馏直接抄哪份配置场景学习率权重衰减批次配置调度器自监督预训练ViT-L0.001预热 10 epoch0.04 → 0.464/GPU × 4 节点线性预热 余弦自监督预训练ViT-7B5.0e-05预热 100 epoch0.04 恒定16/GPU × 32 节点线性预热 余弦线性评测ImageNet 分类0.001 起步按批次线性缩放0.04128/GPU 起步随评测脚本ADE20K 语义分割线性训练1e-31e-32/GPU × 8 GPU40000 iterWarmupOneCycleLRwarmup 1500 iter余弦退火ConvNeXt 蒸馏1e-4 ~ 2e-4 网格搜索0.04 → 0.2500 epoch预热 80线性预热 余弦分割任务的完整参数512px 输入、total_iter: 40000、warmup_iters: 1500在 config-ade20k-linear-training.yaml 中注意它把权重衰减压到 1e-3——冻结 backbone 只训线性头时强正则反而会限制拟合能力。训练震荡或收敛慢按这个顺序排查症状首选动作备选动作损失曲线震荡、指标不稳定降低学习率先除以 2增大总批次大小同时按缩放规则上调学习率收敛明显偏慢上调学习率不超过缩放规则给出的理论值检查weight_decay是否被误设为过大的恒定值大批次改小批次后效果变差确认scaling_rule已生效日志会打印LR peak x - y补上预热 epoch批次减半预热不必减半末段指标不涨确认min_lr非 0如 1.0e-6检查clip_gradViT-L 3.0ViT-7B 30.0是否截掉了正常梯度排查时开启train.monitor_gradient_norm: true打印梯度范数曲线配合clip_grad一起看能区分学习率太大和个别层梯度爆炸两种截然不同的病因。下一步怎么验证一套可直接跑的对照实验固定硬件与数据只动一个变量先跑官方基准配置如 dinov3_vit7b16_pretrain.yaml 或 ViT-L 配置作为锚点。学习率维度取基准学习率的 0.5×、1×、2× 三组各跑 25% 训练量对比同一迭代数的 loss 与 k-NN 评测选曲线最平的一条。批次维度总批次从 2048 改到 1024 或 4096让scaling_rule自动重算学习率只观察曲线形态不要手动二次修正学习率。权重衰减维度比较weight_decay_end取 0.2 / 0.4 / 恒定 0.04 三组看训练末段验证指标的分差判断渐进式正则在你这个数据量上是否划算。每轮实验记录saveckp_freq间隔的 checkpoint用dinov3/eval/linear.py和dinov3/eval/knn.py做下游评测以 k-NN / 线性精度而非训练 loss 作为最终判断依据。这样跑完三轮单变量对照每个参数在你自己的硬件和数据规模下的最优区间就出来了比任何通用推荐值都可靠。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DINOv3训练调参实操手册：批次大小、学习率、权重衰减的定参顺序与查表指南
DINOv3训练调参实操手册批次大小、学习率、权重衰减的定参顺序与查表指南【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3 是 Meta AI 第三代自监督视觉基础模型的官方 PyTorch 参考实现仓库里同时提供从 ViT-Small 到 ViT-7B 各规模模型的预训练与下游任务配置。本文只讲一件事给 DINOv3 做 DINOv3 超参数调优学习率、权重衰减、批次大小时应该按什么顺序定参数、每个参数从哪个数值起步。读完你可以直接照表格改配置文件并拿到一套可执行的对照实验方案。三个参数不是各调各的。学习率的合理起点取决于总批次大小权重衰减的调度又和学习率曲线绑在一起所以本文按先批次 → 再学习率 → 后权重衰减的真实决策顺序展开最后给出场景速查表、故障排错对照表和验证实验清单。第一步先看硬件把批次大小定下来批次大小指每步训练一次送进 GPU 的图像张数它决定显存占用和单步梯度噪声是后面两个参数的地基。仓库里每个训练配置都有显式的train.batch_size_per_gpu键官方给各模型的基准如下模型规模每 GPU 批次大小集群规模总批次大小来源配置ViT-Small / ViT-Large644 节点32 GPU2048ViT-L 配置ViT-7B1632 节点512 GPU8192ViT-7B 预训练配置两条经验规则显存不够时优先砍batch_size_per_gpu而不是降分辨率因为裁剪窗口全局 224px 8 个 96px 局部裁剪是 DINOv3 特征质量的核心来源动批次不动裁剪。总批次大小尽量对齐 1024 的整数倍原因见下一节的缩放公式。第二步学习率从多大起步怎么跟着批次缩放学习率是参数每步更新的步长。仓库默认用 AdamWbeta10.9beta20.999ViT-7B 配置中 beta2 为 0.99各模型起步值差异很大不能照抄模型起始学习率预热 epoch衰减下限 min_lr梯度裁剪 clip_gradViT-Large0.001101.0e-63.0ViT-7B5.0e-05100—30.0ConvNeXt-Tiny蒸馏2e-480 / 500——ConvNeXt-Base / Large蒸馏1e-480 / 500——ConvNeXt 蒸馏配置的峰值学习率在 1e-4 到 2e-4 之间官方做法是在 1e-6 到 1e-4 区间内按模型规模网格搜索取最优配置放在 distillation_convnext 目录。定完起步值后还有一个关键动作批次大小一变学习率必须联动。仓库内置两种缩放规则optim.scaling_rule在dinov3/configs/config.py的apply_scaling_rules_to_cfg中自动生效linear_wrt_256线性lr × (batch_size_per_gpu × world_size) / 256即总批次相对 256 翻倍学习率同倍放大。sqrt_wrt_1024平方根默认值lr × 4 × sqrt(batch_size_per_gpu × world_size / 1024)比线性更保守大批次训练更稳ViT-7B 与 ViT-L 官方配置都用它。下游线性评测时另有独立的缩放函数在dinov3/eval/linear.py中scale_lr(learning_rates, batch_size)按(batch_size × world_size) / 256线性放大逻辑与预训练线性规则一致。第三步学习率曲线怎么画——线性预热加余弦退火结论先行DINOv3 的曲线是线性预热 余弦退火 末端常数段三段式实现见dinov3/train/cosine_lr_scheduler.py的linear_warmup_cosine_decay。各段取值要点预热段学习率从schedules.lr.start0线性爬升到 peak长度 warmup_epochs × OFFICIAL_EPOCH_LENGTH。ViT-L 为 10 个 epochViT-7B 拉到 100 个 epoch——批次越大预热越长用来消化大批次下的初始梯度波动。退火段余弦下降最低降到min_lrViT-L 配 1.0e-6避免训练末段学习率归零后特征不再微调。末端冻结freeze_last_layer_epochs控制输出层前 N 个 epoch 学习率强制为 0ViT-L 为 1ConvNeXt 蒸馏为 1给下游头留出稳定收敛窗口。权重衰减为什么从 0.04 爬到 0.4还要按层衰减权重衰减是对参数幅值施加的惩罚项用来抑制过拟合。DINOv3 的设定有三层基准值 0.04写在optim.weight_decayViT-L 和默认配置都用它开局。渐进到 0.4optim.weight_decay_end: 0.4训练过程中权重衰减随课程从 0.04 逐步升至 0.4前期松后期紧避免早期正则过强压制表征学习。ViT-7B 则是全程恒定 0.04schedules.weight_decay的 start/peak/end 均为 0.04大模型更依赖其自身的 drop_path 0.4 等结构正则。分层衰减layerwise_decay让浅层拿更小的衰减系数ViT-L 取 0.9ViT-7B 取 0.98越靠近顶层衰减越大dino_head_wd_multiplier: 1.0单独控制 DINO 输出头的衰减倍数。ConvNeXt 蒸馏配置中layerwise_decay: 1.0即不做分层区分。ViT-L 的完整核心段如下改配置时以这份为准batch_size_per_gpu: 64 lr: 0.001 warmup_epochs: 10 min_lr: 1.0e-06 weight_decay: 0.04 weight_decay_end: 0.4 scaling_rule: sqrt_wrt_1024 layerwise_decay: 0.9对应的完整文件见 vitl_im1k_lin834.yaml实测在总批次 2048 下达到 83.4% ImageNet-1K 线性精度。场景速查分类、分割、蒸馏直接抄哪份配置场景学习率权重衰减批次配置调度器自监督预训练ViT-L0.001预热 10 epoch0.04 → 0.464/GPU × 4 节点线性预热 余弦自监督预训练ViT-7B5.0e-05预热 100 epoch0.04 恒定16/GPU × 32 节点线性预热 余弦线性评测ImageNet 分类0.001 起步按批次线性缩放0.04128/GPU 起步随评测脚本ADE20K 语义分割线性训练1e-31e-32/GPU × 8 GPU40000 iterWarmupOneCycleLRwarmup 1500 iter余弦退火ConvNeXt 蒸馏1e-4 ~ 2e-4 网格搜索0.04 → 0.2500 epoch预热 80线性预热 余弦分割任务的完整参数512px 输入、total_iter: 40000、warmup_iters: 1500在 config-ade20k-linear-training.yaml 中注意它把权重衰减压到 1e-3——冻结 backbone 只训线性头时强正则反而会限制拟合能力。训练震荡或收敛慢按这个顺序排查症状首选动作备选动作损失曲线震荡、指标不稳定降低学习率先除以 2增大总批次大小同时按缩放规则上调学习率收敛明显偏慢上调学习率不超过缩放规则给出的理论值检查weight_decay是否被误设为过大的恒定值大批次改小批次后效果变差确认scaling_rule已生效日志会打印LR peak x - y补上预热 epoch批次减半预热不必减半末段指标不涨确认min_lr非 0如 1.0e-6检查clip_gradViT-L 3.0ViT-7B 30.0是否截掉了正常梯度排查时开启train.monitor_gradient_norm: true打印梯度范数曲线配合clip_grad一起看能区分学习率太大和个别层梯度爆炸两种截然不同的病因。下一步怎么验证一套可直接跑的对照实验固定硬件与数据只动一个变量先跑官方基准配置如 dinov3_vit7b16_pretrain.yaml 或 ViT-L 配置作为锚点。学习率维度取基准学习率的 0.5×、1×、2× 三组各跑 25% 训练量对比同一迭代数的 loss 与 k-NN 评测选曲线最平的一条。批次维度总批次从 2048 改到 1024 或 4096让scaling_rule自动重算学习率只观察曲线形态不要手动二次修正学习率。权重衰减维度比较weight_decay_end取 0.2 / 0.4 / 恒定 0.04 三组看训练末段验证指标的分差判断渐进式正则在你这个数据量上是否划算。每轮实验记录saveckp_freq间隔的 checkpoint用dinov3/eval/linear.py和dinov3/eval/knn.py做下游评测以 k-NN / 线性精度而非训练 loss 作为最终判断依据。这样跑完三轮单变量对照每个参数在你自己的硬件和数据规模下的最优区间就出来了比任何通用推荐值都可靠。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考