27届大模型面试准备三十九模型剪枝与稀疏化——从参数冗余到高效推理本篇是 A 系列前沿延伸的第九篇。前几篇我们分别讲透了量化A19、端侧部署压缩A34、小模型蒸馏A35、注意力压缩A36。本篇把镜头对准另一条同样关键的压缩路线——剪枝与稀疏化它不靠降低数值精度、也不靠换小教师而是直接从结构层面拿掉冗余参数让模型在更小、更稀疏的形状下保留能力。面试里剪枝常和量化一起被问但二者机制完全不同本篇帮你把这条线讲透。一、为什么剪枝参数冗余是第一性证据神经网络存在大量冗余并不是直觉而是被反复验证的事实。早在上世纪九十年代LeCun 就提出最优脑损伤OBD用二阶导估计参数重要性做裁剪后来的研究一致表明训练好的大模型里有大量权重对最终输出贡献极小移除后精度几乎不降。冗余来源 ├── 过参数化(over-parameterization)训练需要但推理不需要这么多自由度 ├── 协作冗余多个神经元表达近似相同的特征 ├── 任务冗余通用模型里大量能力对本任务无用 └── 精度冗余A19 讲的量化与剪枝正交、可叠加一个常被追问的点剪枝和量化是什么关系它们是正交的两类压缩——量化压的是每个参数占多少比特剪枝压的是还存在多少个参数。一个把fp16变int4一个把110M参数变30M参数二者叠加即协同压缩这是端侧大模型落地的主流组合。二、剪枝的分类法先看粒度再看结构面试最该讲清的是分类维度而不是背某篇论文。维度类别含义硬件友好度粒度非结构化任意单个权重差需稀疏引擎粒度半结构化固定模式如 2:4中新 GPU 支持粒度结构化通道/头/层/块好直接变规整矩阵准则权重幅值\|w\|小即不重要简单但粗糙准则一阶/二阶损失对参数的敏感度准但贵准则活化度输出接近零的频率需统计结构化剪枝直接移除整个通道、注意力头或层得到的是规整的小模型普通稠密算子就能跑因此工程上最易落地。非结构化剪枝任意剔除权重压缩比高但需要专门的稀疏推理库才能真提速否则只是把权重置零、计算量没减。三、结构化剪枝的方法论工业界最常用的是基于重要性准则 迭代重训的流水线def importance(channel_weights): # 通道级用 L1 范数或 BN 缩放因子衡量通道重要性 return torch.norm(channel_weights, p1, dim(1, 2, 3)) def prune_and_finetune(model, ratio, epochs3): for _ in range(epochs): scores {n: importance(w) for n, w in conv_weights(model)} thresh percentile(scores, ratio) # 剪掉最不重要的 ratio 比例 mask {n: s thresh for n, s in scores.items()} apply_mask(model, mask) # 置零被剪通道 finetune(model, lr1e-4) # 重训恢复精度关键点剪枝不能一剪了之。移除参数会破坏已学到的表征必须接一个短期微调recovery / finetune把精度补回来。这也是为什么剪枝常被称为训练-剪枝-重训三段式train-prune-retrain。四、非结构化剪枝与 N:M 稀疏非结构化剪枝把任意权重置零得到高度稀疏的矩阵。难点在硬件能不能真的加速。现代加速卡如 NVIDIA Ampere 起支持2:4 稀疏每 4 个连续权重里至少 2 个为零时Tensor Core 可跳过零值、算力翻倍。稠密: [w0 w1 w2 w3] 全部参与计算 2:4 : [ 0 w1 0 w3] 保留 2 个硬件跳过 2 个 → 吞吐 ~2x这就是半结构化 / 结构化稀疏的价值既拿高稀疏比又有确定性的硬件加速。面试时若能点出非结构化稀疏需专用库、2:4 是当下性价比最高的稀疏形态会显得你真在引擎层调过。五、彩票假设与重写训练2019 年的彩票假设Lottery Ticket Hypothesis提出一个随机初始化的过参数化网络里存在一个子网络中奖彩票如果从初始权重开始单独训练能达到原网络精度。原网络 随机初始化 θ0 └─ 训练得 θ* └─ 按 |θ*| 大小剪出掩码 m └─ 用初始 θ0 中对应部分 m 重新训练 └─ 若复现精度 → 子网络本身就有潜力工程启示与其先训大模型再剪不如找到好的初始化 掩码直接训小网络。后续early-bird ticket进一步发现训练早期几步内就能锁定有效子网络结构大幅降低搜索成本。这对怎么剪得又快又好是直接的方法论贡献。六、稀疏训练从剪到长传统剪枝是先稠密训练再剪再补。稀疏训练sparse training反过来从一开始就让模型在稀疏约束下训练直接长出一个高效的稀疏结构。静态稀疏训练前定好掩码全程不变——省算力但灵活性差。动态稀疏如 RigL训练中按梯度动态增删连接让重要位置生长、不重要位置剪除最终得到更优的稀疏子网络。# RigL 风格周期性重连 top-梯度边 mask prune_by_magnitude(mask, ratio) if step % regrow_every 0: mask regrow_by_gradient(mask, grad, ratio) # 用梯度补回重要连接稀疏训练的优势是训练成本本身就低每一步只算非零连接对超大规模模型尤有价值。七、剪枝与量化、蒸馏的协同三条压缩路线各有侧重组合使用效果最佳路线压缩对象典型收益可否叠加剪枝参数数量模型更小、更规整是量化(A19)每参数字节显存/带宽减半以上是蒸馏(A35)模型容量小模型保大模型能力是常见落地顺序先剪枝拿结构、再量化压精度、最后蒸馏补能力或者直接做剪枝量化协同压缩如先结构化剪枝再用 GPTQ/AWQ 量化残差。面试常考为什么不直接量化而要剪枝——答案在结构量化不减少矩阵维度长序列 KV 与大激活仍占显存剪枝能从维度层面缩小二者解决的是不同瓶颈。八、工程落地与验收清单剪枝落地最关键的不是算法而是稀疏能否被推理引擎吃到。结构化剪枝得到的规整小模型直接用 ONNX/TensorRT 跑即可非结构化/半结构化稀疏则依赖cuSPARSE、TensorRT的稀疏内核或专用库。验收清单① 结构剪后形状是否规整、是否真减少 MAC 数 ② 精度业务测试集掉点 1%~2%超标层回退 ③ 加速端到端延迟/吞吐实测提升而非只看参数量 ④ 协同叠加量化后精度与速度是否仍达标 ⑤ 稳定多种子剪枝结果方差是否可控深度延展剪枝的工程决策与隐性成本把剪枝讲透最后要回到一个最实用的工程问题什么时候该剪、什么时候不该剪以及剪完之后那些容易被忽略的隐性成本。先说决策。很多团队一上来就追求压缩比结果剪完发现精度掉、加速没拿到、还得重训得不偿失。正确姿态是先问三问第一目标瓶颈到底是参数量还是带宽如果是显存和带宽量化往往比剪枝更直接有效剪枝解决的是矩阵变小而量化解决的是每个参数更省比特二者针对不同瓶颈。第二推理引擎是否支持你要的稀疏形态结构化剪枝得到规整小模型任何稠密算子都能跑非结构化稀疏若引擎不支持稀疏内核置零的权重依然参与计算等于没压缩还多了复杂度。第三重训成本团队扛不扛得起结构化剪枝后的小模型要再微调几轮才能补回精度这段算力与人力要算进总账。三问都过才值得上剪枝否则先用量化或蒸馏顶着。再说隐性成本这是面试里最能区分做过和只讲过的地方。隐性成本之一是重训。剪枝不是一剪了之移除参数破坏表征必须接短期微调而微调本身需要数据、算力与调参往往占掉剪枝收益的一大块。隐性成本之二是精度回归的工程负担。剪完的小模型要在业务测试集上做回归掉点超阈值就要回退或调整剪枝比例这要求团队本就有评测闭环否则剪完不知道成没成。隐性成本之三是稀疏引擎的绑定。一旦走非结构化或二比四稀疏模型就和水支持稀疏的推理库绑定换平台或升级硬件都要重新验证加速是否仍在技术债因此产生。隐性成本之四是分布漂移。线上数据分布和训练时不同剪枝后模型容量更小、容错更低退化可能比原模型更快需要更频繁地回灌线上数据做增量校准。还要补几个前沿方向让内容不止于经典方法。其一是一次性结构化剪枝传统迭代式剪枝要反复训练多轮、成本高研究者提出在训练早期就一次性定好要剪的结构如基于 BN 缩放因子直接剪大幅缩短流程工程上常用训练时带稀疏正则、训练末一次性剪、再短暂恢复的三步法替代多轮迭代。其二是面向大语言模型的剪枝特殊性。大模型对剪枝异常敏感尤其注意力头和前几层对任务影响极大盲目剪会直接塌掉能力因此大模型剪枝常配合重要性用梯度而非幅值保留关键层剪后做指令微调恢复等策略且剪枝比例通常保守。其三是自动稀疏与神经架构搜索结合让算法自己决定每层该多稀疏而非手工定统一比例能更精细地守住精度。其四是剪枝与量化的顺序问题经验上先剪去冗余结构、再对残差量化比先量化再剪更稳因为量化引入的误差会干扰幅值类重要性判断先剪能拿到更干净的结构再量化。最后落到与前面几篇的呼应帮你在面试里把压缩路线串成一张网。剪枝本篇压的是参数数量与矩阵维度量化A19压的是每参数字节蒸馏A35压的是模型容量端侧部署A34是把这三者落到手机和边缘设备注意力压缩A36则是从推理引擎侧压键值缓存。这五条不是竞争关系而是一条协同压缩链路典型落地是剪枝拿结构、量化压精度、蒸馏补能力、端侧引擎编译、KV 压缩降推理峰值每一环都有验收指标任何一环掉点都先回去调。能把这个全栈视角讲清楚面试官会判定你是真在生产里做过模型压缩而不是只背过某个剪枝公式。再强调一句所有压缩的共同底线都是评测闭环没有业务测试集的回归守护任何压缩都是盲剪迟早在大流量下翻车。再补一个面试常考的实操对比帮你在现场不慌。假设面对一个七亿参数的稠密模型想要把它压到能在手机上跑你会怎么排顺序正确思路是先剪枝拿结构、再量化压精度、最后蒸馏补能力或者至少剪枝与量化协同。如果只量化不剪枝矩阵维度没变长序列的键值缓存和大激活依然占着显存手机照样放不下如果只剪枝不量化参数量下来了但每个参数还是十六位浮点显存和带宽收益有限。二者协同后既能缩小矩阵维度又能降低每参数比特再叠加蒸馏把大模型的能力固化进小模型这才是端侧落地最稳的一条路也正是 A34 端侧部署、A35 蒸馏、A19 量化与本篇剪枝共同构成的压缩全栈。还有一个被反复追问的细节剪枝比例怎么定它不是拍脑袋的数字而是精度和压缩比的权衡曲线上的一个点。工业界常先用验证集画一条剪枝比例—精度曲线找到精度掉点不明显的临界点比如剪去百分之五十时精度几乎不降剪去百分之七十开始明显掉再结合目标硬件的算力上限反推能接受的最大比例。这个过程必须配合业务测试集回归不能用训练集精度代替否则线上一跑就露馅。能讲清这条曲线和以回归定比例的思路面试官会判定你是真在生产里调过压缩而不是只在论文里看过剪枝率。最后给一个避坑提醒不要为了压缩比而压缩比。曾有用例为了把模型剪到极致剪去几乎所有注意力头结果模型彻底丧失推理能力只能做最简单分类业务价值归零。压缩的终点是在满足业务精度前提下的最小可行模型而不是理论上的最大压缩比。把这句话刻进工程直觉你在任何压缩选型上都不会跑偏也能在面试里给出有依据的判断而非盲从指标。最后补一个和端侧落地直接挂钩的数字感帮你在面试里给出有依据的判断。假设原始稠密模型有七十层、隐藏维度四千、注意力头数三十二全参数规模约七亿量化前权重就要占掉相当可观的显存若先做结构化剪枝把一半通道剪掉参数量近似减半显存与带宽压力立刻下来再叠加四比特量化又能压掉一大半比特二者协同后模型可能只有原来的四分之一体积却保留九成以上能力如果此时再接一步蒸馏用更大的教师把剪完的小模型能力补回精度还能再抬一截。这条剪枝拿结构、量化压精度、蒸馏补能力的流水线是当前端侧大模型压缩最主流、性价比最高的一条路。能当众手推出这个量级并给出取舍比背任何剪枝公式都更能证明你真在生产里调过压缩。还要补一个容易被混淆的概念边界剪枝和蒸馏虽然都能得到小模型但机制完全不同。蒸馏是学生学教师的输出分布模型架构可以全新设计、参数量由你定不要求教师和小模型结构一致剪枝是从一个已训练的大模型里拿走参数得到的是原结构的子集结构受限于原模型。因此当你需要和一个现有大模型保持结构兼容比如复用它的服务化管线时剪枝更合适当你想自由设计更小架构时蒸馏更灵活。面试能把这层区别讲清并说出何时选哪个就已经胜过多数只会说用小模型的候选人。最后再提醒一句关于验收心态的剪枝效果的验收永远要以端到端业务指标为准而不是参数量降了多少。曾有用例兴冲冲宣布剪掉百分之六十参数结果业务测试集掉点超过百分之五用户体验明显退化最后被迫回退。参数量下降只是手段业务精度不降、延迟真降、成本真省才是目的。把这层手段与目的的关系讲清楚你在任何压缩选型上都不会被指标带偏也更容易在面试里给出有依据的判断而非盲从压缩比。还有一个工程细节值得在面试里点出剪枝后的稀疏模型在服务化时批处理batching的行为会和稠密模型不同。结构化剪枝得到的小模型批处理行为和普通模型一致但非结构化稀疏若用稀疏内核不同样本的有效非零位置不同批内需要做对齐或分桶才能吃到加速否则反而因掩码开销变慢。因此选剪枝形态时要把服务化侧的批处理成本算进去而不是只看单样本理论算力。能讲出稀疏也要考虑批处理对齐这种细节面试官会知道你是真在推理引擎里调过稀疏而非只在论文里看过二比四。面试速答问剪枝和量化有什么区别答量化压每个参数的比特数不改变参数个数剪枝直接移除参数或置零改变模型形状。二者正交可叠加成协同压缩。问结构化和非结构化剪枝怎么选答追求易落地、直接用稠密算子跑选结构化通道/头/层追求极限压缩比且有稀疏推理引擎选非结构化或 2:4 半结构化。问为什么剪完要重训答移除参数破坏已学表征短期微调能把精度补回否则掉点严重。问彩票假设是什么答过参数化网络中存在随机初始化即已具备潜力的子网络从该初始权重单独训练即可复现精度启示我们好初始化掩码比大模型本身更关键。高频追问清单通道剪枝的三种重要性准则L1、BN scaling、梯度各自的优劣迭代式剪枝一次剪一点多次重训和一次性剪枝怎么权衡2:4 稀疏在哪些硬件上能真加速非 2:4 的稀疏为什么难提速剪枝会不会损害模型在长尾任务上的能力怎么度量稀疏训练 RigL 相比静态稀疏为什么最终精度更高剪枝量化协同时顺序对结果影响大吗MoE 模型里剪枝该剪专家还是剪专家内部参数怎么给剪枝后的模型做正确性回归避免悄悄退化 27届大模型面试准备（三十九）：模型剪枝与稀疏化——从参数冗余到高效推理
27届大模型面试准备三十九模型剪枝与稀疏化——从参数冗余到高效推理本篇是 A 系列前沿延伸的第九篇。前几篇我们分别讲透了量化A19、端侧部署压缩A34、小模型蒸馏A35、注意力压缩A36。本篇把镜头对准另一条同样关键的压缩路线——剪枝与稀疏化它不靠降低数值精度、也不靠换小教师而是直接从结构层面拿掉冗余参数让模型在更小、更稀疏的形状下保留能力。面试里剪枝常和量化一起被问但二者机制完全不同本篇帮你把这条线讲透。一、为什么剪枝参数冗余是第一性证据神经网络存在大量冗余并不是直觉而是被反复验证的事实。早在上世纪九十年代LeCun 就提出最优脑损伤OBD用二阶导估计参数重要性做裁剪后来的研究一致表明训练好的大模型里有大量权重对最终输出贡献极小移除后精度几乎不降。冗余来源 ├── 过参数化(over-parameterization)训练需要但推理不需要这么多自由度 ├── 协作冗余多个神经元表达近似相同的特征 ├── 任务冗余通用模型里大量能力对本任务无用 └── 精度冗余A19 讲的量化与剪枝正交、可叠加一个常被追问的点剪枝和量化是什么关系它们是正交的两类压缩——量化压的是每个参数占多少比特剪枝压的是还存在多少个参数。一个把fp16变int4一个把110M参数变30M参数二者叠加即协同压缩这是端侧大模型落地的主流组合。二、剪枝的分类法先看粒度再看结构面试最该讲清的是分类维度而不是背某篇论文。维度类别含义硬件友好度粒度非结构化任意单个权重差需稀疏引擎粒度半结构化固定模式如 2:4中新 GPU 支持粒度结构化通道/头/层/块好直接变规整矩阵准则权重幅值\|w\|小即不重要简单但粗糙准则一阶/二阶损失对参数的敏感度准但贵准则活化度输出接近零的频率需统计结构化剪枝直接移除整个通道、注意力头或层得到的是规整的小模型普通稠密算子就能跑因此工程上最易落地。非结构化剪枝任意剔除权重压缩比高但需要专门的稀疏推理库才能真提速否则只是把权重置零、计算量没减。三、结构化剪枝的方法论工业界最常用的是基于重要性准则 迭代重训的流水线def importance(channel_weights): # 通道级用 L1 范数或 BN 缩放因子衡量通道重要性 return torch.norm(channel_weights, p1, dim(1, 2, 3)) def prune_and_finetune(model, ratio, epochs3): for _ in range(epochs): scores {n: importance(w) for n, w in conv_weights(model)} thresh percentile(scores, ratio) # 剪掉最不重要的 ratio 比例 mask {n: s thresh for n, s in scores.items()} apply_mask(model, mask) # 置零被剪通道 finetune(model, lr1e-4) # 重训恢复精度关键点剪枝不能一剪了之。移除参数会破坏已学到的表征必须接一个短期微调recovery / finetune把精度补回来。这也是为什么剪枝常被称为训练-剪枝-重训三段式train-prune-retrain。四、非结构化剪枝与 N:M 稀疏非结构化剪枝把任意权重置零得到高度稀疏的矩阵。难点在硬件能不能真的加速。现代加速卡如 NVIDIA Ampere 起支持2:4 稀疏每 4 个连续权重里至少 2 个为零时Tensor Core 可跳过零值、算力翻倍。稠密: [w0 w1 w2 w3] 全部参与计算 2:4 : [ 0 w1 0 w3] 保留 2 个硬件跳过 2 个 → 吞吐 ~2x这就是半结构化 / 结构化稀疏的价值既拿高稀疏比又有确定性的硬件加速。面试时若能点出非结构化稀疏需专用库、2:4 是当下性价比最高的稀疏形态会显得你真在引擎层调过。五、彩票假设与重写训练2019 年的彩票假设Lottery Ticket Hypothesis提出一个随机初始化的过参数化网络里存在一个子网络中奖彩票如果从初始权重开始单独训练能达到原网络精度。原网络 随机初始化 θ0 └─ 训练得 θ* └─ 按 |θ*| 大小剪出掩码 m └─ 用初始 θ0 中对应部分 m 重新训练 └─ 若复现精度 → 子网络本身就有潜力工程启示与其先训大模型再剪不如找到好的初始化 掩码直接训小网络。后续early-bird ticket进一步发现训练早期几步内就能锁定有效子网络结构大幅降低搜索成本。这对怎么剪得又快又好是直接的方法论贡献。六、稀疏训练从剪到长传统剪枝是先稠密训练再剪再补。稀疏训练sparse training反过来从一开始就让模型在稀疏约束下训练直接长出一个高效的稀疏结构。静态稀疏训练前定好掩码全程不变——省算力但灵活性差。动态稀疏如 RigL训练中按梯度动态增删连接让重要位置生长、不重要位置剪除最终得到更优的稀疏子网络。# RigL 风格周期性重连 top-梯度边 mask prune_by_magnitude(mask, ratio) if step % regrow_every 0: mask regrow_by_gradient(mask, grad, ratio) # 用梯度补回重要连接稀疏训练的优势是训练成本本身就低每一步只算非零连接对超大规模模型尤有价值。七、剪枝与量化、蒸馏的协同三条压缩路线各有侧重组合使用效果最佳路线压缩对象典型收益可否叠加剪枝参数数量模型更小、更规整是量化(A19)每参数字节显存/带宽减半以上是蒸馏(A35)模型容量小模型保大模型能力是常见落地顺序先剪枝拿结构、再量化压精度、最后蒸馏补能力或者直接做剪枝量化协同压缩如先结构化剪枝再用 GPTQ/AWQ 量化残差。面试常考为什么不直接量化而要剪枝——答案在结构量化不减少矩阵维度长序列 KV 与大激活仍占显存剪枝能从维度层面缩小二者解决的是不同瓶颈。八、工程落地与验收清单剪枝落地最关键的不是算法而是稀疏能否被推理引擎吃到。结构化剪枝得到的规整小模型直接用 ONNX/TensorRT 跑即可非结构化/半结构化稀疏则依赖cuSPARSE、TensorRT的稀疏内核或专用库。验收清单① 结构剪后形状是否规整、是否真减少 MAC 数 ② 精度业务测试集掉点 1%~2%超标层回退 ③ 加速端到端延迟/吞吐实测提升而非只看参数量 ④ 协同叠加量化后精度与速度是否仍达标 ⑤ 稳定多种子剪枝结果方差是否可控深度延展剪枝的工程决策与隐性成本把剪枝讲透最后要回到一个最实用的工程问题什么时候该剪、什么时候不该剪以及剪完之后那些容易被忽略的隐性成本。先说决策。很多团队一上来就追求压缩比结果剪完发现精度掉、加速没拿到、还得重训得不偿失。正确姿态是先问三问第一目标瓶颈到底是参数量还是带宽如果是显存和带宽量化往往比剪枝更直接有效剪枝解决的是矩阵变小而量化解决的是每个参数更省比特二者针对不同瓶颈。第二推理引擎是否支持你要的稀疏形态结构化剪枝得到规整小模型任何稠密算子都能跑非结构化稀疏若引擎不支持稀疏内核置零的权重依然参与计算等于没压缩还多了复杂度。第三重训成本团队扛不扛得起结构化剪枝后的小模型要再微调几轮才能补回精度这段算力与人力要算进总账。三问都过才值得上剪枝否则先用量化或蒸馏顶着。再说隐性成本这是面试里最能区分做过和只讲过的地方。隐性成本之一是重训。剪枝不是一剪了之移除参数破坏表征必须接短期微调而微调本身需要数据、算力与调参往往占掉剪枝收益的一大块。隐性成本之二是精度回归的工程负担。剪完的小模型要在业务测试集上做回归掉点超阈值就要回退或调整剪枝比例这要求团队本就有评测闭环否则剪完不知道成没成。隐性成本之三是稀疏引擎的绑定。一旦走非结构化或二比四稀疏模型就和水支持稀疏的推理库绑定换平台或升级硬件都要重新验证加速是否仍在技术债因此产生。隐性成本之四是分布漂移。线上数据分布和训练时不同剪枝后模型容量更小、容错更低退化可能比原模型更快需要更频繁地回灌线上数据做增量校准。还要补几个前沿方向让内容不止于经典方法。其一是一次性结构化剪枝传统迭代式剪枝要反复训练多轮、成本高研究者提出在训练早期就一次性定好要剪的结构如基于 BN 缩放因子直接剪大幅缩短流程工程上常用训练时带稀疏正则、训练末一次性剪、再短暂恢复的三步法替代多轮迭代。其二是面向大语言模型的剪枝特殊性。大模型对剪枝异常敏感尤其注意力头和前几层对任务影响极大盲目剪会直接塌掉能力因此大模型剪枝常配合重要性用梯度而非幅值保留关键层剪后做指令微调恢复等策略且剪枝比例通常保守。其三是自动稀疏与神经架构搜索结合让算法自己决定每层该多稀疏而非手工定统一比例能更精细地守住精度。其四是剪枝与量化的顺序问题经验上先剪去冗余结构、再对残差量化比先量化再剪更稳因为量化引入的误差会干扰幅值类重要性判断先剪能拿到更干净的结构再量化。最后落到与前面几篇的呼应帮你在面试里把压缩路线串成一张网。剪枝本篇压的是参数数量与矩阵维度量化A19压的是每参数字节蒸馏A35压的是模型容量端侧部署A34是把这三者落到手机和边缘设备注意力压缩A36则是从推理引擎侧压键值缓存。这五条不是竞争关系而是一条协同压缩链路典型落地是剪枝拿结构、量化压精度、蒸馏补能力、端侧引擎编译、KV 压缩降推理峰值每一环都有验收指标任何一环掉点都先回去调。能把这个全栈视角讲清楚面试官会判定你是真在生产里做过模型压缩而不是只背过某个剪枝公式。再强调一句所有压缩的共同底线都是评测闭环没有业务测试集的回归守护任何压缩都是盲剪迟早在大流量下翻车。再补一个面试常考的实操对比帮你在现场不慌。假设面对一个七亿参数的稠密模型想要把它压到能在手机上跑你会怎么排顺序正确思路是先剪枝拿结构、再量化压精度、最后蒸馏补能力或者至少剪枝与量化协同。如果只量化不剪枝矩阵维度没变长序列的键值缓存和大激活依然占着显存手机照样放不下如果只剪枝不量化参数量下来了但每个参数还是十六位浮点显存和带宽收益有限。二者协同后既能缩小矩阵维度又能降低每参数比特再叠加蒸馏把大模型的能力固化进小模型这才是端侧落地最稳的一条路也正是 A34 端侧部署、A35 蒸馏、A19 量化与本篇剪枝共同构成的压缩全栈。还有一个被反复追问的细节剪枝比例怎么定它不是拍脑袋的数字而是精度和压缩比的权衡曲线上的一个点。工业界常先用验证集画一条剪枝比例—精度曲线找到精度掉点不明显的临界点比如剪去百分之五十时精度几乎不降剪去百分之七十开始明显掉再结合目标硬件的算力上限反推能接受的最大比例。这个过程必须配合业务测试集回归不能用训练集精度代替否则线上一跑就露馅。能讲清这条曲线和以回归定比例的思路面试官会判定你是真在生产里调过压缩而不是只在论文里看过剪枝率。最后给一个避坑提醒不要为了压缩比而压缩比。曾有用例为了把模型剪到极致剪去几乎所有注意力头结果模型彻底丧失推理能力只能做最简单分类业务价值归零。压缩的终点是在满足业务精度前提下的最小可行模型而不是理论上的最大压缩比。把这句话刻进工程直觉你在任何压缩选型上都不会跑偏也能在面试里给出有依据的判断而非盲从指标。最后补一个和端侧落地直接挂钩的数字感帮你在面试里给出有依据的判断。假设原始稠密模型有七十层、隐藏维度四千、注意力头数三十二全参数规模约七亿量化前权重就要占掉相当可观的显存若先做结构化剪枝把一半通道剪掉参数量近似减半显存与带宽压力立刻下来再叠加四比特量化又能压掉一大半比特二者协同后模型可能只有原来的四分之一体积却保留九成以上能力如果此时再接一步蒸馏用更大的教师把剪完的小模型能力补回精度还能再抬一截。这条剪枝拿结构、量化压精度、蒸馏补能力的流水线是当前端侧大模型压缩最主流、性价比最高的一条路。能当众手推出这个量级并给出取舍比背任何剪枝公式都更能证明你真在生产里调过压缩。还要补一个容易被混淆的概念边界剪枝和蒸馏虽然都能得到小模型但机制完全不同。蒸馏是学生学教师的输出分布模型架构可以全新设计、参数量由你定不要求教师和小模型结构一致剪枝是从一个已训练的大模型里拿走参数得到的是原结构的子集结构受限于原模型。因此当你需要和一个现有大模型保持结构兼容比如复用它的服务化管线时剪枝更合适当你想自由设计更小架构时蒸馏更灵活。面试能把这层区别讲清并说出何时选哪个就已经胜过多数只会说用小模型的候选人。最后再提醒一句关于验收心态的剪枝效果的验收永远要以端到端业务指标为准而不是参数量降了多少。曾有用例兴冲冲宣布剪掉百分之六十参数结果业务测试集掉点超过百分之五用户体验明显退化最后被迫回退。参数量下降只是手段业务精度不降、延迟真降、成本真省才是目的。把这层手段与目的的关系讲清楚你在任何压缩选型上都不会被指标带偏也更容易在面试里给出有依据的判断而非盲从压缩比。还有一个工程细节值得在面试里点出剪枝后的稀疏模型在服务化时批处理batching的行为会和稠密模型不同。结构化剪枝得到的小模型批处理行为和普通模型一致但非结构化稀疏若用稀疏内核不同样本的有效非零位置不同批内需要做对齐或分桶才能吃到加速否则反而因掩码开销变慢。因此选剪枝形态时要把服务化侧的批处理成本算进去而不是只看单样本理论算力。能讲出稀疏也要考虑批处理对齐这种细节面试官会知道你是真在推理引擎里调过稀疏而非只在论文里看过二比四。面试速答问剪枝和量化有什么区别答量化压每个参数的比特数不改变参数个数剪枝直接移除参数或置零改变模型形状。二者正交可叠加成协同压缩。问结构化和非结构化剪枝怎么选答追求易落地、直接用稠密算子跑选结构化通道/头/层追求极限压缩比且有稀疏推理引擎选非结构化或 2:4 半结构化。问为什么剪完要重训答移除参数破坏已学表征短期微调能把精度补回否则掉点严重。问彩票假设是什么答过参数化网络中存在随机初始化即已具备潜力的子网络从该初始权重单独训练即可复现精度启示我们好初始化掩码比大模型本身更关键。高频追问清单通道剪枝的三种重要性准则L1、BN scaling、梯度各自的优劣迭代式剪枝一次剪一点多次重训和一次性剪枝怎么权衡2:4 稀疏在哪些硬件上能真加速非 2:4 的稀疏为什么难提速剪枝会不会损害模型在长尾任务上的能力怎么度量稀疏训练 RigL 相比静态稀疏为什么最终精度更高剪枝量化协同时顺序对结果影响大吗MoE 模型里剪枝该剪专家还是剪专家内部参数怎么给剪枝后的模型做正确性回归避免悄悄退化