知识蒸馏是模型压缩里最常用的手段之一用一个大模型的预测结果去训练一个小模型让它在参数量小很多的情况下逼近大模型的效果。但在实际项目中很多人把蒸馏当成一个损失函数问题来做反复调温度系数、改 KL 散度权重效果却总是不稳定。原因往往不在蒸馏本身而在数据。原始训练集如果类别不平衡、样本量不足或者噪声比例偏高教师模型的输出也会继承这些问题学生模型学到的东西自然受限。PROOF-Gen 的思路正好从这里切入在进入蒸馏训练之前先构造一批面向教师模型的优化数据用这批数据去提升学生模型的学习质量。这篇文章会围绕 PROOF-Gen 梳理一整套可落地的知识蒸馏数据流程从数据诊断、生成候选样本、样本过滤到联合训练和验证对比。读者可以是正在做模型压缩的算法工程师也可以是刚接触蒸馏但想把效果跑明白的研究生。看完之后你应该能搭建一个最小可运行的数据蒸馏链路并且在效果没提升时知道该从哪个环节排查。1. 先理解蒸馏效果为什么卡在数据上1.1 蒸馏不只是把教师输出当作标签知识蒸馏的经典做法是让学生模型同时学习两个目标一个是真实标签的硬损失另一个是教师模型输出软标签的软损失。软标签指的是教师模型在某个输入上输出的概率分布它比真实标签多了一层信息哪些类别和当前类别相似模型对哪些类别不确定。一个典型蒸馏损失可以用下面的 PyTorch 片段表示import torch.nn.functional as F def distill_loss(student_logits, teacher_logits, labels, alpha0.7, T3.0): hard_loss F.cross_entropy(student_logits, labels) soft_loss F.kl_div( F.log_softmax(student_logits / T, dim-1), F.softmax(teacher_logits / T, dim-1), reductionbatchmean ) * (T * T) return alpha * hard_loss (1 - alpha) * soft_loss这里T是温度系数它会把概率分布重新拉平。T越大软标签里类别间的关系越明显T越小软标签越接近 one-hot。T * T是修正因子因为 logits 被T缩放后回传梯度也变小了需要补回来。不过要注意这个公式隐含了一个前提教师模型给出的软标签是可靠的。如果数据本身有问题教师模型就会在部分样本上给出一套偏差很大的分布。此时软标签不是知识而是噪声来源。1.2 原始训练集在蒸馏阶段会暴露三类典型问题很多项目在蒸馏前没有重新检查过原始数据直接拿训练集和教师模型开始训练于是问题被带到了下游。常见情况如下数据问题表现对蒸馏的影响类别不平衡少数类别样本数量少教师模型在少数类上学得差软标签偏向多数类样本量不足训练曲线抖动明显验证集波动教师模型拟合不稳定学生模型学到的是较高方差预测标签噪声部分样本标注错误软标签与硬标签冲突学生模型在噪声样本上反复震荡这些现象在普通训练中也会影响精度但在蒸馏里影响更大。因为学生模型不仅要学硬标签还要学教师对样本的不确定性判断。当教师模型本身就因为数据偏差而判断错误时学生模型会把错误判断当成知识来拟合。所以PROOF-Gen 的第一步不是急着写蒸馏代码而是先回答一个问题当前数据是否值得让教师模型去传授知识。2. PROOF-Gen 的定位把数据生成变成蒸馏前的独立阶段2.1 从原始数据到优化数据的完整链路PROOF-Gen 可以理解为一套面向知识蒸馏的数据工作流。它不把数据增强和样本生成当作附属操作而是把它们独立成蒸馏之前的一个工序。整个流程可以拆成四步数据诊断统计类别分布、教师模型置信度、困难样本比例定位数据薄弱点。候选样本生成在原始样本基础上加入扰动、混入语义变化然后交给教师模型输出软标签。样本过滤根据置信度、学生模型预测差异等指标剔除低价值候选样本。数据合并与重标注把筛选后的生成样本与原始样本按比例合并作为学生模型的训练集。这个流程的核心不是“生成越多越好”而是通过生成方式来打补丁。教师模型在哪些样本上表现得不够好就针对这些区域补充数据让软标签分布更可信。2.2 与普通数据增强和生成式数据增强的区别很多团队已经用普通数据增强做过蒸馏比如随机裁剪、翻转、颜色扰动。这类方法简单但不会改变原始数据分布的形状只能让样本在同一分布内更丰富。生成模型增强则是利用 GAN 或扩散模型产生新样本能覆盖分布外区域但训练生成模型本身成本很高。用表格对比方法目标数据来源是否依赖教师模型适用场景普通数据增强保持语义的扰动原始样本自身变换否样本量足够需要提升稳定性生成模型增强扩充分布外样本生成模型无条件或条件生成通常否原始样本严重不足PROOF-Gen 类数据生成修正教师模型暴露出的盲区原始样本变换 教师模型反馈是蒸馏前需要提升软标签质量PROOF-Gen 区别于前两者的关键点是教师模型会参与数据选择。它生成的不是直接给学生训练的原始图像而是“样本 教师软标签”组合。教师模型在这个流程里既是被学习对象也是数据质量的评估器。3. 环境准备用最小项目跑通 PROOF-Gen 流程3.1 依赖选型和版本建议本文示例基于 PyTorch。之所以选 PyTorch是因为它写自定义训练循环和蒸馏损失比较直接社区资料也多方便复现。依赖用途参考版本Python运行环境3.8 及以上PyTorch模型定义与训练建议 1.10 以上实验前以官方稳定版为准TorchVision数据集与视觉模型与 PyTorch 版本对应NumPy数据统计与处理1.21 及以上scikit-learn评估指标与抽样1.0 及以上tqdm训练进度展示任意较新版本具体版本要根据你的环境确认尤其要注意 PyTorch 和 TorchVision 的匹配关系否则加载 CIFAR-10 时可能报版本不一致错误。3.2 项目结构先定清楚把数据生成、过滤、训练分开写比把所有逻辑堆在一个文件里更容易排查。推荐结构如下proof_gen_demo/ ├── data/ # 原始数据集缓存 ├── output/ # 模型权重、日志、样本池 ├── scripts/ │ ├── diagnose.py # 数据诊断 │ ├── generate.py # 生成候选样本 │ ├── filter.py # 过滤样本 │ └── train_teacher.py # 训练教师模型 ├── proof_gen/ │ ├── dataset.py # 数据集与样本池 │ ├── distill.py # 蒸馏损失与训练循环 │ └── evaluate.py # 精度和分布指标评估 └── requirements.txtscripts下的脚本负责跑了就能出结果的任务proof_gen包负责可复用的核心逻辑。这样在你替换成业务数据时只需要改数据加载和模型结构不需要重写流程。3.3 先用 CIFAR-10 这类数据验证流程学习阶段建议先用 CIFAR-10 而不是业务数据。原因是它类别均衡、数据量小、可视化方便硬标签准确率和软标签分布都能快速验证。如果链路在小数据集上跑不通换到复杂业务数据会更难排查。加载方式import torchvision.transforms as T from torchvision.datasets import CIFAR10 transform T.Compose([ T.ToTensor(), T.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) train_ds CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) test_ds CIFAR10(root./data, trainFalse, downloadTrue, transformtransform)这里的均值和标准差来自 CIFAR-10 数据集统计换到自己的数据后不能直接复制要先重新计算。否则图像归一化范围不对生成样本的扰动幅度也会失真。4. 核心实现先诊断再生成最后过滤4.1 数据诊断脚本先量化再决策不要凭感觉判断数据差在哪。一个简单诊断脚本可以输出类别分布和教师模型置信度帮助确定生成参数。示意代码from collections import Counter import numpy as np def diagnose(dataset, modelNone, devicecpu): labels [sample[1] for sample in dataset] counter Counter(labels) total len(labels) print(总样本数:, total) for cls in sorted(counter.keys()): print(f类别 {cls}: {counter[cls]} 样本, 占比 {counter[cls] / total:.4f}) if model is not None: model.eval() confidences [] # 这里需要按 batch 遍历数据收集教师模型预测置信度 # 示意逻辑conf softmax(logits).max() print(教师模型平均置信度:, np.mean(confidences)) print(低置信度样本占比:, np.mean(np.array(confidences) 0.5))如果某个类别的样本少或者教师模型在某个类别上的置信度明显偏低那么生成阶段就要提高该类别的扰动和混合比例。诊断的价值在于让后续参数不是拍脑袋选的。4.2 基于教师模型生成候选样本生成阶段不使用生成模型而是对真实样本做受控变换然后让教师模型输出软标签。这种方式成本低且不会引入过多分布外样本。这里给出一个示意结构import torch import torch.nn.functional as F def generate_candidates(model, dataset, T3.0, noise_scale0.05, mix_prob0.5): model.eval() candidates [] for img, label in dataset: # 方式一添加高斯噪声 noisy_img img torch.randn_like(img) * noise_scale noisy_img torch.clamp(noisy_img, 0.0, 1.0) # 方式二按概率与随机样本做 mixup if torch.rand(1).item() mix_prob: other_idx torch.randint(0, len(dataset), (1,)).item() other_img, _ dataset[other_idx] lam torch.rand(1).item() noisy_img lam * noisy_img (1 - lam) * other_img with torch.no_grad(): logits model(noisy_img.unsqueeze(0)) probs F.softmax(logits / T, dim-1) candidates.append((noisy_img, label, probs)) return candidates这段代码的目的是说明思想不是最终可直接上生产的版本。实际项目中要注意三点数据归一化范围必须一致。如果训练时像素被归一化到 0 到 1生成阶段也必须在同样范围内操作。固定随机种子否则每次生成结果不稳定。对 batch 做循环而不是单样本循环否则生成速度太慢。4.3 样本过滤高质量不等于高置信度生成完候选样本后不能直接把所有样本加入训练集。需要按规则过滤过滤本身决定了生成数据的价值。常见过滤规则有保留教师置信度落在中间区间的样本。保留学生模型当前预测与教师模型预测差异较大的样本。剔除教师置信度极低的样本因为大概率是噪声。示意代码def filter_samples(candidates, lower0.4, upper0.95): kept [] for img, label, probs in candidates: conf probs.max().item() if lower conf upper: kept.append((img, label, probs)) return kept为什么要过滤高置信度样本因为教师模型对过于熟悉的样本输出非常确定这类样本提供的新信息很少。真正能帮助学生模型改进的往往是位于教师决策边界附近的样本。低置信度样本也未必有用通常要优先丢弃。4.4 合并数据时要注意比例合并原始数据和生成数据时不建议一次性把生成数据全部加入。经验做法是从少量开始比如先按 1:1 混合再根据验证集变化调整。数据构成特点适用情况原始数据分布真实但可能有偏差必须保留原始数据 低比例生成数据稳定性较好提升温和初次实验建议生成数据占比过高学生模型会被教师重复预测主导验证集掉点时需要降低比例生成数据比例的调整本身就是蒸馏实验的一部分应当记录在实验日志里。5. 蒸馏训练与结果验证5.1 训练策略选择在 PROOF-Gen 链路里建议至少跑三组实验教师模型基线原始数据训练代表蒸馏上限参考。学生模型基线原始数据训练代表不蒸馏的下限。学生模型 PROOF-Gen 数据完整流程。训练循环可以使用统一的蒸馏损失函数def train_one_epoch(student, teacher, loader, optimizer, alpha0.7, T3.0): student.train() teacher.eval() total_loss 0.0 for images, labels in loader: images images.to(device) labels labels.to(device) optimizer.zero_grad() student_logits student(images) with torch.no_grad(): teacher_logits teacher(images) loss distill_loss(student_logits, teacher_logits, labels, alphaalpha, TT) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)这里教师模型必须处于eval模式并且用torch.no_grad()包裹避免更新教师参数。学生模型则正常反向传播。很多第一次写蒸馏的人会把教师模型也设成train模式导致训练结果不稳定。5.2 日志要记录软损失和硬损失只看总 loss 不够因为总 loss 可能掩盖软损失不下降的问题。建议每条 epoch 记录这几个指标epoch5 loss1.023 hard0.642 soft0.381 acc0.781 teacher_conf0.832其中hard代表硬标签交叉熵损失soft代表软标签 KL 损失。如果整体准确率在涨但软损失一直不降说明学生模型可能只靠真实标签学习没有真正从教师模型里获取知识。5.3 基线对比表要提前留好最终对比表可以这样设计实验数据验证集准确率说明教师模型原始数据待填写蒸馏上限参考学生模型原始数据待填写不蒸馏的基线学生模型原始数据 普通增强待填写区分数据增强影响学生模型原始数据 PROOF-Gen 数据待填写本文完整流程建议自己跑完再填写数字不要照搬网上结果。不同模型结构、初始化方式和数据变换会让结果存在明显波动。6. 常见问题排查效果没提升时按这条链路找6.1 加了生成数据反而掉点现象常见原因检查方式处理建议验证集准确率低于只用原始数据生成样本噪声太大可视化生成样本检查是否超出合法像素范围调低噪声幅度或统一归一化范围生成数据覆盖了错误类别分布过滤阈值不合适统计过滤后样本的类别比例调整置信度上下限或按类别分别设置教师模型过拟合原始数据教师模型训练集指标远高于验证集对比教师模型训练集和验证集准确率对教师模型做更强的正则化或早停掉点不一定意味着 PROOF-Gen 无效可能只是某个生成参数过强。建议每次只调整一个参数不要同时改噪声、过滤阈值和混合比例。6.2 软标签损失不下降如果总损失下降但soft部分基本不变说明学生模型没有从软标签中学到东西。常见原因包括温度T太小软标签接近 one-hotKL 损失缺乏梯度信息。alpha太大软损失在总损失中权重过低。教师模型在部分样本上预测分布过于尖锐即使提高温度也没有明显软化效果。可以打印教师模型软标签分布的熵。如果熵很小说明教师模型本身已经很自信软标签信息有限此时应该检查教师模型是否过拟合或者是否需要重训教师模型。6.3 训练不稳定或出现 NaNNaN出现时先按顺序排查输入数据里是否有 NaN。生成样本时如果加入过大噪声可能出现非法数值。温度T是否导致 logits 除以 0 或接近 0。学习率是否过大。一个简单做法是在 loss.backward 前检查 loss 是否为有限值if not torch.isfinite(loss): print(loss 出现 NaN停止本轮训练) break这种保护在调试时很有用能快速定位是生成数据问题还是优化器问题。6.4 生产环境还要检查数据来源和合规性生成数据本质上是对原始数据的变换和再利用需要注意两点一是原始数据来源是否允许生成派生数据二是生成样本不能包含可识别的个人信息。在业务数据上做蒸馏之前应该先完成数据脱敏再检查生成样本是否会泄露敏感内容。这个问题与模型效果无关但影响上线决策。7. 最佳实践与下一步扩展7.1 可复用的数据工作流检查清单每次跑 PROOF-Gen 实验建议留好以下记录数据版本原始数据来自哪个目录是否做过清洗。随机种子生成、过滤、训练是否统一固定。生成参数噪声幅度、mixup 概率、温度系数。过滤阈值置信度上下限、保留样本数。基线对比教师模型、学生基线的准确率和关键损失。这些记录能保证一次实验结束后你能还原出数据为什么变好或变差。7.2 从离线蒸馏到生成反馈闭环在实际数据科学项目里从点击归因到预算优化通常是一个持续闭环采集数据、归因分析、训练模型、评估效果再把新的反馈数据回流到模型。蒸馏数据生成也可以设计成同样的闭环。PROOF-Gen 在第一次运行时可以是离线流程但后续每次学生模型上线后都可以把预测置信度较低的样本收集起来重新进入生成和过滤流程。这意味着在架构上数据生成不能只写成一次性脚本最好把样本池、过滤结果和评估指标都外部化存储。这样后续迭代就可以复用历史样本而不是每次从头生成。7.3 生产环境扩展方向小数据集跑通后进入生产环境还需要考虑四件事使用样本库缓存避免每次训练重新生成候选样本。将生成任务拆成独立分布式任务保存到对象存储或特征平台。加入模型版本管理和数据版本管理方便回滚。上线前检查学生模型在长尾类别和敏感样本上的表现不只关注整体准确率。如果项目涉及大量文本或语音数据生成策略要从图像扰动换成对应模态的增强方法但诊断、过滤、合并的基本逻辑可以保留。蒸馏优化的第一步不是调参数而是把数据过程透明化。先用一张小数据集把 PROOF-Gen 的生成、过滤、训练、验证链路跑通再回到自己的业务数据里观察教师模型在哪些样本上不稳定。只要数据版本、生成参数和评估基线都留得清楚后续调整就是有针对性的而不是凭感觉。对于刚接触蒸馏的读者建议从教师模型输出的软标签分布入手这批 soft label 本身就是整个蒸馏流程里最值得利用的信息。