最近不少技术群都在讨论一个问题字节跳动的 Seed 团队为什么不像很多后来者那样直接“蒸馏”GPT-4、Claude 或者 Gemini非要自己训练基础模型这个问题看起来像八卦但背后其实是模型蒸馏这条技术路线的边界问题什么时候该蒸什么时候不该蒸蒸了能拿到什么又会失去什么。这篇不聊内部决策只从公开技术资料和模型蒸馏原理出发把“Seed 为什么不蒸馏别的模型”拆成几个可以落地的判断维度。如果你正在做模型轻量化、知识蒸馏、数据蒸馏或者准备把某个大模型的能力“蒸馏”到自己的小模型里这篇文章可以直接收藏。1. Seed 不蒸馏“别的模型”的技术考量速览先给一张速览表帮你在读正文前建立坐标。这里的“Seed”指字节跳动 AI 研究团队 Seed同时也保留“随机种子 seed”这层歧义后面会说为什么这个歧义很有意思。考量维度说明项目类型基础大模型 多模态模型自研路线核心能力文本、图像、视频等多模态模型训练常见蒸馏方式知识蒸馏、数据蒸馏、模型剪枝量化为什么不直接蒸馏第三方模型合规边界、能力天花板、数据分布对齐、长期技术壁垒Seed 更倾向的路线自研基础模型 数据工程 合成数据 自蒸馏适用团队有算力、有数据、有长期模型能力的团队不适用团队预算有限的个人开发者或极早期创业团队表格里有一条值得展开Seed 并不是“不蒸馏”而是“不蒸馏别的模型”。自家模型蒸馏自己的大模型或者用大模型合成数据这些他们大概率一直在做。区别在于“教师模型”是谁。2. 模型蒸馏到底在蒸什么模型蒸馏Knowledge Distillation最早来自 Hinton 2015 年的论文本质是把一个复杂模型教师模型的知识压缩到一个更小的模型学生模型里。但到了 2024、2025 年“蒸馏”这个词已经被泛化成了很多种操作概念不清会导致路线判断出错。2.1 知识蒸馏软标签与 logits 蒸馏经典的知识蒸馏是让学生模型去拟合教师模型的输出分布而不是直接拟合硬标签。形式化地说教师模型会输出一组 logits我们用温度系数 T 把 logits 变成软概率分布。学生模型也要用同样的温度 T 计算概率分布然后计算两个分布之间的 KL 散度。import torch import torch.nn.functional as F def kd_loss(student_logits, teacher_logits, labels, T3.0, alpha0.7): # 教师模型和学生模型都除以温度 T soft_teacher F.softmax(teacher_logits / T, dim-1) soft_student F.log_softmax(student_logits / T, dim-1) # 蒸馏损失用于学习教师模型的“暗知识” distill_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) # 常规交叉熵用于保证学生模型仍然对齐真实标签 hard_loss F.cross_entropy(student_logits, labels) # alpha 控制蒸馏损失和真实标签损失的权重 return alpha * distill_loss * (T * T) (1 - alpha) * hard_loss这个方法的精髓在于教师模型输出的概率分布里包含了类别之间的相似性。例如在图像分类里教师模型看到一张猫的照片即使错误的类别也会有一定的概率输出“狗”而不是完全零概率。这种“猫和狗有点像”的信息就是学生模型从硬标签里学不到的暗知识。2.2 数据蒸馏用教师模型生成训练数据另一种常见的“蒸馏”并不是蒸馏 logits而是蒸馏训练数据。具体做法是让一个大模型生成样本、解释、思维链、指令数据然后用这些数据去训练另一个模型。这也是当前大模型时代最主流的“蒸馏”方式。典型的数据蒸馏可以简单写成import json from openai import OpenAI # 仅作为示例实际使用时请替换为自己有权限访问的模型服务 client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) def generate_sft_data(seed_questions): records [] for q in seed_questions: resp client.chat.completions.create( modelteacher-model, messages[ {role: user, content: q} ], temperature0.7, ) records.append({instruction: q, output: resp.choices[0].message.content}) return records if __name__ __main__: questions [什么是知识蒸馏, 什么是数据蒸馏] data generate_sft_data(questions) with open(sft_data.jsonl, w, encodingutf-8) as f: for item in data: f.write(json.dumps(item, ensure_asciiFalse) \n)这种方法在开源社区已经非常普遍。很多人用 GPT-4 等大模型生成指令数据再拿去微调 Llama、Qwen 等开源模型本质上也属于“蒸馏别的模型”。区别只是把“蒸馏输出概率”换成了“蒸馏生成数据”。2.3 剪枝、量化与结构化蒸馏剪枝、量化经常和蒸馏放在一起讨论但它们不属于严格意义的“蒸馏”更多是模型轻量化技术。比如把权重从 FP16 量化到 INT8或者把不重要的神经元剪掉。蒸馏负责让学生模型学习教师模型的“能力”量化和剪枝负责让权重更小、推理更快。三者可以组合使用但不能混为一谈。现在热词里的“模型轻量化 剪枝蒸馏量化”其实就是这条技术栈。3. 为什么很多团队会选择蒸馏第三方大模型在讨论 Seed 为什么不蒸馏别人之前先看看为什么大多数人会选择蒸馏。这能帮我们理解“蒸馏”到底香在哪里。第一成本低。训练一个千亿参数的模型需要上万张显卡但把一个已经训练好的模型蒸馏成 7B、13B 小模型只用少量数据和几十张显卡就能完成。对预算有限的团队来说这是唯一能接近头部模型能力的方式。第二迭代快。直接训练基础模型需要大量调参、实验和等待而蒸馏第三方模型的流程比较标准化选教师模型、准备数据、训练学生模型、评测。一个完整周期可能只要几周。第三短期效果好。如果教师模型本身的推理能力很强学生模型即使只能学到教师的一部分能力也往往比随机初始化从头训练的小模型表现好得多。尤其在数学、代码、逻辑推理这些任务上蒸馏数据可以快速提升小模型得分。第四工程门槛低。不需要完整的数据管线不需要大规模并行训练框架甚至可以用单机多卡完成。这正是很多个人开发者和中小公司选择蒸馏路线的原因。但这里有一个关键问题短期效果好不代表长期路线正确。Seed 这类团队更看重的是模型能力的上限和可控性。4. 为什么 Seed 不直接蒸馏第三方模型拆解六个原因把“蒸馏第三方模型”放到真实工程环境里会发现它并没有想象中美好。以下六个原因是判断“Seed 为什么不这么做”最核心的技术逻辑。4.1 合规与授权边界这是最先要说的原因。绝大多数闭源大模型的服务条款明确禁止用模型输出训练竞争模型或者禁止通过 API 进行模型蒸馏。如果你用 GPT-4 的 API 生成大量指令数据再训练一个自己的商用模型在法律和平台政策上都有风险。字节 Seed 作为有公开产品线的大厂不可能把核心模型建立在违反第三方服务条款的基础上。一旦被追责企业级影响不是个人开发者能比的。正是因为这个原因Seed 宁可选择公开数据、自采数据和自研合成数据也不太可能去大批量蒸馏 OpenAI、Anthropic、Google 的模型。4.2 能力天花板受制于教师模型蒸馏的本质是“学生不可能稳定超过教师”。虽然偶尔会出现学生模型在某些能力上超过教师的情况但整体上学生模型的能力上限就是教师模型的能力上限。比如如果教师模型的上下文长度是 128K学生模型通过蒸馏学习到的上下文能力很难突破 128K。如果教师模型的数学推理能力是 75 分学生模型大概率只能到 65 到 72 分。一个长期目标是把基础模型能力做到世界一线的团队不可能接受自己的模型天花板永远被其他公司的模型锁死。Seed 的目标是做出能跟头部模型直接竞争的基础模型那就必须自己掌控每层能力。4.3 数据集和场景不对齐蒸馏第三方模型时你拿到的只是教师模型针对输入产生的输出但你看不到训练教师模型的原始数据分布。如果目标场景是中文、视频、图像生成等教师模型本身可能并不擅长这些领域蒸馏出来的学生模型也会带着同样的短板。举个例子如果你想训练一个电商客服模型但教师模型是基于通用英文语料训练的那么它生成的客服话术就可能不符合中文电商场景。这时候你需要做大量数据清洗和改写这部分成本加起来可能不比从头建一套数据管线低。Seed 有一系列自研模型和产品面向的是真实业务场景数据分布必须跟产品对齐。直接蒸馏别的模型等于把数据分布的主导权交给了别人。4.4 评测分数不等于真实能力蒸馏有一个很常见的陷阱学生模型在教师模型的能力范围内表现很好但在范围外会迅速退化。尤其是数据蒸馏如果训练数据全部来自教师模型学生模型会产生一种“模仿偏差”本质上只是在复读教师模型的答案模式而不是真正学会了推理。这就导致很多蒸馏模型在公开评测集上分数很高但放到真实用户场景里表现不稳定。因为评测集的问题分布和生成数据分布高度一致学生模型只需要记忆规律就行。Seed 如果大量蒸馏第三方模型短期可能刷出好看的榜单但长期会失去对“真实能力”的掌控力。这不适合需要持续迭代和产品落地的团队。4.5 长期技术壁垒需要自研模型行业的核心壁垒不是某个超参数而是数据管线、训练框架、模型架构、人才梯队和评估体系。如果靠蒸馏起家真正的技术和数据积累都在教师模型那边。教师模型一旦升级、改版或关闭 API你的整个训练管线就崩溃了。Seed 走自研路线虽然前期投入大但能积累出一套自主可控的训练和推理体系。这套体系一旦稳定下来后续的模型迭代速度并不会比蒸馏路线慢甚至更快因为不存在外部依赖。4.6 “Seed”路径更接近数据蒸馏 自研这里需要澄清一个歧义Seed 不是完全不搞蒸馏。公开资料显示业界常用的做法是“用自家大模型做教师”或者“用自家数据管线生成高质量数据去训练其他尺寸模型”。这种自蒸馏、数据蒸馏和自研基础模型并不冲突。所以更严谨的说法是Seed 不蒸馏“别的模型”但会蒸馏自己的模型会做数据合成会用强化学习对齐。它们把“蒸馏”作为模型家族内部能力传递的一种手段而不是获取初始能力的核心路径。5. 不蒸馏别人模型Seed 类团队还能怎么做如果你不想蒸馏第三方模型但又要把模型能力做强技术路线其实不少。极端情况下完全可以选择从零训练、自研数据、模型压缩、多阶段训练等。5.1 自研基础模型 数据工程最正统的路线是收集公开数据、自采数据、合成数据然后从随机初始化开始训练一个基础模型。训练过程通常分为预训练、后训练、对齐。这个路线的门槛在数据工程和训练框架。即使模型架构不变数据的质量、去重、配比、清洗方式也会带来巨大差异。很多团队会说“我们复现不了 LLaMA”但真正的问题通常不是架构而是数据。# 一个通用的预训练数据配比示例需要按实际项目调整 data_mix: web_text: 45 code: 20 math: 15 multilingual_text: 12 synthetic_instruction: 8Seed 这类团队在数据工程上投入非常大部分原因就是他们要构建自己的数据飞轮。5.2 合成数据与数据蒸馏不蒸馏别人的模型不代表不能用数据蒸馏。你可以用自家已经训练出来的高能力模型生成数据筛选后再训练能力略低的子模型。这种做法既能拉近模型家族内部各尺寸之间的能力差距又不会触碰第三方模型的授权边界。还有一个方向是让模型生成“反事实数据”或者“思维链数据”再用规则或强模型筛选出高置信度样本。这个过程比直接蒸馏第三方模型更复杂但数据更可控、更贴合自己的场景。5.3 剪枝、量化与 MoE当模型训练完成后要让不同尺寸的模型在特定硬件上运行通常会用到剪枝、量化、低秩分解、混合专家MoE等工程手段。这些技术可以和蒸馏配合使用也可以独立使用。比如把一个大模型拆成多个小专家模型或者在推理阶段选择部分专家激活这比蒸馏一个小模型更能保留原始能力。很多团队现在倾向于训练一个大模型然后在部署时做自适应裁剪而不是专门为每个尺寸训练一个模型。5.4 蒸馏自己的模型对 Seed 来说最合理的策略是先训练一个旗舰大模型再用这个旗舰大模型作为教师蒸馏出不同尺寸的模型比如一个 7B 版本、一个 14B 版本、一个 70B 版本分别对应不同部署场景。这种做法可以一次性解决两个问题一是统一模型家族的行为风格避免不同尺寸模型各自为战二是提高小模型的各项能力因为教师是自家最强的模型而非外部不可控模型。6. 用一段代码理解蒸馏的边界理论讲完我们落到代码。很多人觉得“蒸馏别的模型”和“自研模型”是两种不兼容的路线其实可以先用一个小实验验证它们的差别。下面是一个简化版的数据蒸馏模拟假设我们有 1000 条标注数据用教师模型给每条数据生成额外的解释再训练一个学生模型。你可以对比“只用原始数据训练”和“用教师生成数据训练”的效果。import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 造一个小规模分类数据集 X, y make_classification(n_samples1000, n_features20, n_informative10, random_state42) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 基线直接用原始数据训练学生模型 student_base LogisticRegression(max_iter1000) student_base.fit(X_train, y_train) base_acc student_base.score(X_test, y_test) # 模拟教师模型用一个更强的模型在训练集上生成“软标签” teacher LogisticRegression(C10, max_iter2000) teacher.fit(X_train, y_train) soft_labels teacher.predict_proba(X_train) # 数据蒸馏把软标签拼接到训练集上重新训练学生模型 X_train_aug np.concatenate([X_train, X_train], axis0) y_train_aug np.concatenate([y_train, soft_labels[:, 1] 0.5], axis0) student_distill LogisticRegression(max_iter1000) student_distill.fit(X_train_aug, y_train_aug) distill_acc student_distill.score(X_test, y_test) print(fbaseline acc: {base_acc:.4f}) print(fdistill acc: {distill_acc:.4f})这段代码非常粗糙但能说明一个核心观点如果教师模型本身是同一个模型族训练出来的数据蒸馏带来的收益有限而如果教师模型来自另一个数据分布蒸馏后的学生模型很可能会继承教师模型的偏差。观察点很简单对比基线模型和蒸馏模型的在测试集上的准确率以及在不同分布数据上的表现。如果蒸馏后只提升了训练分布内分数但在分布外数据上下降说明学生模型只是在模仿教师模型的噪音而不是学到了真正的规律。7. 如何判断自己的项目该不该蒸馏别人的模型如果你不是 Seed而是一名普通开发者和创业者不妨按下面的决策清单做判断。问题如果答案是“是”如果答案是“否”你是否有长期自研基础模型的打算建议不要依赖蒸馏外部模型可以先蒸快速出结果你是否计划商用必须检查教师模型授权边界非商用或研究可以宽松一些你是否要求模型能力超过教师模型不能只靠蒸馏蒸馏足够你是否拥有核心业务场景数据优先自研数据管线可以用通用数据蒸馏快速验证你是否需要模型家族多个尺寸训练一个旗舰模型再蒸馏自家模型蒸馏外部模型也行你是否在意数据合规风险不要蒸馏第三方闭源模型没有明确的商用风险可以继续对于大多数个人项目蒸馏一个开源模型或者调用自己有权限的模型服务生成数据仍然是效率最高的策略。但要认清一件事这是效率选择不是能力上限选择。8. 蒸馏与合规、隐私、版权边界这一步必须单独强调。无论你是用 logits 蒸馏还是用模型输出数据蒸馏都要考虑以下边界第一服务条款。很多 AI 平台禁止用其输出训练竞争模型。你在用 API 生成数据时需要先阅读服务条款确认模型输出是否允许被用于再次训练。如果允许也要明确范围比如是否允许商用。第二数据版权。如果教师模型在训练时本身使用了有版权争议的数据那么蒸馏出的学生模型也可能继承这些风险。这个问题在代码生成、音乐生成、图像生成领域尤其突出。第三用户隐私。绝对不能把包含个人隐私的输入数据发给第三方模型 API 去生成蒸馏数据。一旦发生数据泄露责任无法挽回。第四人脸与声音信息。如果蒸馏任务涉及图像生成、语音合成、数字人必须获得相关人物的授权否则不仅违反模型策略还可能涉及肖像权和声音权问题。Seed 作为企业团队在这些合规问题上比个人开发者敏感得多。这也是它们不轻易蒸馏第三方模型的重要原因之一。9. 常见误区和排查思路关于蒸馏的讨论里有几种误区很容易让人走偏。误区真相排查思路蒸馏后小模型一定比从零训练小模型强不一定教师模型质量差或数据分布不匹配时蒸馏效果可能更差对比同参数量模型在相同评测集上的表现蒸馏是零成本复制大模型能力蒸馏需要大量数据清洗、过滤和人工标注成本并不低计算数据清洗成本和GPU训练成本蒸馏不会导致模型同质化大量团队蒸馏同一个教师模型最终模型会高度同质化观察不同蒸馏模型在长尾问题上的输出相似度蒸馏能突破教师模型能力学生模型能力上限通常由教师模型决定用教师模型本身回答难题再做对比量化、剪枝就是蒸馏量化剪枝是压缩权重蒸馏是学习知识看训练过程是让模型拟合数据还是拟合教师输出如果你在蒸馏过程中发现学生模型训练后效果迟迟上不去优先检查这三项教师模型输出的数据质量、训练数据与目标场景的分布匹配度、蒸馏损失和原始损失的比例是否合理。10. 总结Seed 不蒸馏别人的模型到底为了什么回到最初的问题字节 Seed 为什么不蒸馏别的模型从技术逻辑看答案不是“不行”而是“不划算”。如果 Seed 选择蒸馏 GPT-4 或 Claude短期可能很快获得一个看起来不错的模型但长期会面临三个问题合规风险高、能力天花板低、技术壁垒无法沉淀。而 Seed 显然走的是一条更重、更慢、但更具长期价值的路线自研基础模型、构建自有数据管线、用自家大模型蒸馏家族小模型。这个选择也给做 AI 工程的人一个启示模型蒸馏和自研并不是对立关系而是不同阶段、不同资源约束下的工具箱。小团队在资源紧张时完全可以通过蒸馏快速跑通产品但一旦有长期目标就要尽早考虑如何建立自己的模型迭代闭环。如果你正面临“蒸馏还是自研”的选择建议从数据权限、能力上限、商用边界三个角度重新梳理一遍。这篇文章里提到的决策清单可以直接用来做第一轮筛选。 模型蒸馏的边界：为什么Seed不蒸馏别人的大模型？
最近不少技术群都在讨论一个问题字节跳动的 Seed 团队为什么不像很多后来者那样直接“蒸馏”GPT-4、Claude 或者 Gemini非要自己训练基础模型这个问题看起来像八卦但背后其实是模型蒸馏这条技术路线的边界问题什么时候该蒸什么时候不该蒸蒸了能拿到什么又会失去什么。这篇不聊内部决策只从公开技术资料和模型蒸馏原理出发把“Seed 为什么不蒸馏别的模型”拆成几个可以落地的判断维度。如果你正在做模型轻量化、知识蒸馏、数据蒸馏或者准备把某个大模型的能力“蒸馏”到自己的小模型里这篇文章可以直接收藏。1. Seed 不蒸馏“别的模型”的技术考量速览先给一张速览表帮你在读正文前建立坐标。这里的“Seed”指字节跳动 AI 研究团队 Seed同时也保留“随机种子 seed”这层歧义后面会说为什么这个歧义很有意思。考量维度说明项目类型基础大模型 多模态模型自研路线核心能力文本、图像、视频等多模态模型训练常见蒸馏方式知识蒸馏、数据蒸馏、模型剪枝量化为什么不直接蒸馏第三方模型合规边界、能力天花板、数据分布对齐、长期技术壁垒Seed 更倾向的路线自研基础模型 数据工程 合成数据 自蒸馏适用团队有算力、有数据、有长期模型能力的团队不适用团队预算有限的个人开发者或极早期创业团队表格里有一条值得展开Seed 并不是“不蒸馏”而是“不蒸馏别的模型”。自家模型蒸馏自己的大模型或者用大模型合成数据这些他们大概率一直在做。区别在于“教师模型”是谁。2. 模型蒸馏到底在蒸什么模型蒸馏Knowledge Distillation最早来自 Hinton 2015 年的论文本质是把一个复杂模型教师模型的知识压缩到一个更小的模型学生模型里。但到了 2024、2025 年“蒸馏”这个词已经被泛化成了很多种操作概念不清会导致路线判断出错。2.1 知识蒸馏软标签与 logits 蒸馏经典的知识蒸馏是让学生模型去拟合教师模型的输出分布而不是直接拟合硬标签。形式化地说教师模型会输出一组 logits我们用温度系数 T 把 logits 变成软概率分布。学生模型也要用同样的温度 T 计算概率分布然后计算两个分布之间的 KL 散度。import torch import torch.nn.functional as F def kd_loss(student_logits, teacher_logits, labels, T3.0, alpha0.7): # 教师模型和学生模型都除以温度 T soft_teacher F.softmax(teacher_logits / T, dim-1) soft_student F.log_softmax(student_logits / T, dim-1) # 蒸馏损失用于学习教师模型的“暗知识” distill_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) # 常规交叉熵用于保证学生模型仍然对齐真实标签 hard_loss F.cross_entropy(student_logits, labels) # alpha 控制蒸馏损失和真实标签损失的权重 return alpha * distill_loss * (T * T) (1 - alpha) * hard_loss这个方法的精髓在于教师模型输出的概率分布里包含了类别之间的相似性。例如在图像分类里教师模型看到一张猫的照片即使错误的类别也会有一定的概率输出“狗”而不是完全零概率。这种“猫和狗有点像”的信息就是学生模型从硬标签里学不到的暗知识。2.2 数据蒸馏用教师模型生成训练数据另一种常见的“蒸馏”并不是蒸馏 logits而是蒸馏训练数据。具体做法是让一个大模型生成样本、解释、思维链、指令数据然后用这些数据去训练另一个模型。这也是当前大模型时代最主流的“蒸馏”方式。典型的数据蒸馏可以简单写成import json from openai import OpenAI # 仅作为示例实际使用时请替换为自己有权限访问的模型服务 client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) def generate_sft_data(seed_questions): records [] for q in seed_questions: resp client.chat.completions.create( modelteacher-model, messages[ {role: user, content: q} ], temperature0.7, ) records.append({instruction: q, output: resp.choices[0].message.content}) return records if __name__ __main__: questions [什么是知识蒸馏, 什么是数据蒸馏] data generate_sft_data(questions) with open(sft_data.jsonl, w, encodingutf-8) as f: for item in data: f.write(json.dumps(item, ensure_asciiFalse) \n)这种方法在开源社区已经非常普遍。很多人用 GPT-4 等大模型生成指令数据再拿去微调 Llama、Qwen 等开源模型本质上也属于“蒸馏别的模型”。区别只是把“蒸馏输出概率”换成了“蒸馏生成数据”。2.3 剪枝、量化与结构化蒸馏剪枝、量化经常和蒸馏放在一起讨论但它们不属于严格意义的“蒸馏”更多是模型轻量化技术。比如把权重从 FP16 量化到 INT8或者把不重要的神经元剪掉。蒸馏负责让学生模型学习教师模型的“能力”量化和剪枝负责让权重更小、推理更快。三者可以组合使用但不能混为一谈。现在热词里的“模型轻量化 剪枝蒸馏量化”其实就是这条技术栈。3. 为什么很多团队会选择蒸馏第三方大模型在讨论 Seed 为什么不蒸馏别人之前先看看为什么大多数人会选择蒸馏。这能帮我们理解“蒸馏”到底香在哪里。第一成本低。训练一个千亿参数的模型需要上万张显卡但把一个已经训练好的模型蒸馏成 7B、13B 小模型只用少量数据和几十张显卡就能完成。对预算有限的团队来说这是唯一能接近头部模型能力的方式。第二迭代快。直接训练基础模型需要大量调参、实验和等待而蒸馏第三方模型的流程比较标准化选教师模型、准备数据、训练学生模型、评测。一个完整周期可能只要几周。第三短期效果好。如果教师模型本身的推理能力很强学生模型即使只能学到教师的一部分能力也往往比随机初始化从头训练的小模型表现好得多。尤其在数学、代码、逻辑推理这些任务上蒸馏数据可以快速提升小模型得分。第四工程门槛低。不需要完整的数据管线不需要大规模并行训练框架甚至可以用单机多卡完成。这正是很多个人开发者和中小公司选择蒸馏路线的原因。但这里有一个关键问题短期效果好不代表长期路线正确。Seed 这类团队更看重的是模型能力的上限和可控性。4. 为什么 Seed 不直接蒸馏第三方模型拆解六个原因把“蒸馏第三方模型”放到真实工程环境里会发现它并没有想象中美好。以下六个原因是判断“Seed 为什么不这么做”最核心的技术逻辑。4.1 合规与授权边界这是最先要说的原因。绝大多数闭源大模型的服务条款明确禁止用模型输出训练竞争模型或者禁止通过 API 进行模型蒸馏。如果你用 GPT-4 的 API 生成大量指令数据再训练一个自己的商用模型在法律和平台政策上都有风险。字节 Seed 作为有公开产品线的大厂不可能把核心模型建立在违反第三方服务条款的基础上。一旦被追责企业级影响不是个人开发者能比的。正是因为这个原因Seed 宁可选择公开数据、自采数据和自研合成数据也不太可能去大批量蒸馏 OpenAI、Anthropic、Google 的模型。4.2 能力天花板受制于教师模型蒸馏的本质是“学生不可能稳定超过教师”。虽然偶尔会出现学生模型在某些能力上超过教师的情况但整体上学生模型的能力上限就是教师模型的能力上限。比如如果教师模型的上下文长度是 128K学生模型通过蒸馏学习到的上下文能力很难突破 128K。如果教师模型的数学推理能力是 75 分学生模型大概率只能到 65 到 72 分。一个长期目标是把基础模型能力做到世界一线的团队不可能接受自己的模型天花板永远被其他公司的模型锁死。Seed 的目标是做出能跟头部模型直接竞争的基础模型那就必须自己掌控每层能力。4.3 数据集和场景不对齐蒸馏第三方模型时你拿到的只是教师模型针对输入产生的输出但你看不到训练教师模型的原始数据分布。如果目标场景是中文、视频、图像生成等教师模型本身可能并不擅长这些领域蒸馏出来的学生模型也会带着同样的短板。举个例子如果你想训练一个电商客服模型但教师模型是基于通用英文语料训练的那么它生成的客服话术就可能不符合中文电商场景。这时候你需要做大量数据清洗和改写这部分成本加起来可能不比从头建一套数据管线低。Seed 有一系列自研模型和产品面向的是真实业务场景数据分布必须跟产品对齐。直接蒸馏别的模型等于把数据分布的主导权交给了别人。4.4 评测分数不等于真实能力蒸馏有一个很常见的陷阱学生模型在教师模型的能力范围内表现很好但在范围外会迅速退化。尤其是数据蒸馏如果训练数据全部来自教师模型学生模型会产生一种“模仿偏差”本质上只是在复读教师模型的答案模式而不是真正学会了推理。这就导致很多蒸馏模型在公开评测集上分数很高但放到真实用户场景里表现不稳定。因为评测集的问题分布和生成数据分布高度一致学生模型只需要记忆规律就行。Seed 如果大量蒸馏第三方模型短期可能刷出好看的榜单但长期会失去对“真实能力”的掌控力。这不适合需要持续迭代和产品落地的团队。4.5 长期技术壁垒需要自研模型行业的核心壁垒不是某个超参数而是数据管线、训练框架、模型架构、人才梯队和评估体系。如果靠蒸馏起家真正的技术和数据积累都在教师模型那边。教师模型一旦升级、改版或关闭 API你的整个训练管线就崩溃了。Seed 走自研路线虽然前期投入大但能积累出一套自主可控的训练和推理体系。这套体系一旦稳定下来后续的模型迭代速度并不会比蒸馏路线慢甚至更快因为不存在外部依赖。4.6 “Seed”路径更接近数据蒸馏 自研这里需要澄清一个歧义Seed 不是完全不搞蒸馏。公开资料显示业界常用的做法是“用自家大模型做教师”或者“用自家数据管线生成高质量数据去训练其他尺寸模型”。这种自蒸馏、数据蒸馏和自研基础模型并不冲突。所以更严谨的说法是Seed 不蒸馏“别的模型”但会蒸馏自己的模型会做数据合成会用强化学习对齐。它们把“蒸馏”作为模型家族内部能力传递的一种手段而不是获取初始能力的核心路径。5. 不蒸馏别人模型Seed 类团队还能怎么做如果你不想蒸馏第三方模型但又要把模型能力做强技术路线其实不少。极端情况下完全可以选择从零训练、自研数据、模型压缩、多阶段训练等。5.1 自研基础模型 数据工程最正统的路线是收集公开数据、自采数据、合成数据然后从随机初始化开始训练一个基础模型。训练过程通常分为预训练、后训练、对齐。这个路线的门槛在数据工程和训练框架。即使模型架构不变数据的质量、去重、配比、清洗方式也会带来巨大差异。很多团队会说“我们复现不了 LLaMA”但真正的问题通常不是架构而是数据。# 一个通用的预训练数据配比示例需要按实际项目调整 data_mix: web_text: 45 code: 20 math: 15 multilingual_text: 12 synthetic_instruction: 8Seed 这类团队在数据工程上投入非常大部分原因就是他们要构建自己的数据飞轮。5.2 合成数据与数据蒸馏不蒸馏别人的模型不代表不能用数据蒸馏。你可以用自家已经训练出来的高能力模型生成数据筛选后再训练能力略低的子模型。这种做法既能拉近模型家族内部各尺寸之间的能力差距又不会触碰第三方模型的授权边界。还有一个方向是让模型生成“反事实数据”或者“思维链数据”再用规则或强模型筛选出高置信度样本。这个过程比直接蒸馏第三方模型更复杂但数据更可控、更贴合自己的场景。5.3 剪枝、量化与 MoE当模型训练完成后要让不同尺寸的模型在特定硬件上运行通常会用到剪枝、量化、低秩分解、混合专家MoE等工程手段。这些技术可以和蒸馏配合使用也可以独立使用。比如把一个大模型拆成多个小专家模型或者在推理阶段选择部分专家激活这比蒸馏一个小模型更能保留原始能力。很多团队现在倾向于训练一个大模型然后在部署时做自适应裁剪而不是专门为每个尺寸训练一个模型。5.4 蒸馏自己的模型对 Seed 来说最合理的策略是先训练一个旗舰大模型再用这个旗舰大模型作为教师蒸馏出不同尺寸的模型比如一个 7B 版本、一个 14B 版本、一个 70B 版本分别对应不同部署场景。这种做法可以一次性解决两个问题一是统一模型家族的行为风格避免不同尺寸模型各自为战二是提高小模型的各项能力因为教师是自家最强的模型而非外部不可控模型。6. 用一段代码理解蒸馏的边界理论讲完我们落到代码。很多人觉得“蒸馏别的模型”和“自研模型”是两种不兼容的路线其实可以先用一个小实验验证它们的差别。下面是一个简化版的数据蒸馏模拟假设我们有 1000 条标注数据用教师模型给每条数据生成额外的解释再训练一个学生模型。你可以对比“只用原始数据训练”和“用教师生成数据训练”的效果。import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 造一个小规模分类数据集 X, y make_classification(n_samples1000, n_features20, n_informative10, random_state42) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 基线直接用原始数据训练学生模型 student_base LogisticRegression(max_iter1000) student_base.fit(X_train, y_train) base_acc student_base.score(X_test, y_test) # 模拟教师模型用一个更强的模型在训练集上生成“软标签” teacher LogisticRegression(C10, max_iter2000) teacher.fit(X_train, y_train) soft_labels teacher.predict_proba(X_train) # 数据蒸馏把软标签拼接到训练集上重新训练学生模型 X_train_aug np.concatenate([X_train, X_train], axis0) y_train_aug np.concatenate([y_train, soft_labels[:, 1] 0.5], axis0) student_distill LogisticRegression(max_iter1000) student_distill.fit(X_train_aug, y_train_aug) distill_acc student_distill.score(X_test, y_test) print(fbaseline acc: {base_acc:.4f}) print(fdistill acc: {distill_acc:.4f})这段代码非常粗糙但能说明一个核心观点如果教师模型本身是同一个模型族训练出来的数据蒸馏带来的收益有限而如果教师模型来自另一个数据分布蒸馏后的学生模型很可能会继承教师模型的偏差。观察点很简单对比基线模型和蒸馏模型的在测试集上的准确率以及在不同分布数据上的表现。如果蒸馏后只提升了训练分布内分数但在分布外数据上下降说明学生模型只是在模仿教师模型的噪音而不是学到了真正的规律。7. 如何判断自己的项目该不该蒸馏别人的模型如果你不是 Seed而是一名普通开发者和创业者不妨按下面的决策清单做判断。问题如果答案是“是”如果答案是“否”你是否有长期自研基础模型的打算建议不要依赖蒸馏外部模型可以先蒸快速出结果你是否计划商用必须检查教师模型授权边界非商用或研究可以宽松一些你是否要求模型能力超过教师模型不能只靠蒸馏蒸馏足够你是否拥有核心业务场景数据优先自研数据管线可以用通用数据蒸馏快速验证你是否需要模型家族多个尺寸训练一个旗舰模型再蒸馏自家模型蒸馏外部模型也行你是否在意数据合规风险不要蒸馏第三方闭源模型没有明确的商用风险可以继续对于大多数个人项目蒸馏一个开源模型或者调用自己有权限的模型服务生成数据仍然是效率最高的策略。但要认清一件事这是效率选择不是能力上限选择。8. 蒸馏与合规、隐私、版权边界这一步必须单独强调。无论你是用 logits 蒸馏还是用模型输出数据蒸馏都要考虑以下边界第一服务条款。很多 AI 平台禁止用其输出训练竞争模型。你在用 API 生成数据时需要先阅读服务条款确认模型输出是否允许被用于再次训练。如果允许也要明确范围比如是否允许商用。第二数据版权。如果教师模型在训练时本身使用了有版权争议的数据那么蒸馏出的学生模型也可能继承这些风险。这个问题在代码生成、音乐生成、图像生成领域尤其突出。第三用户隐私。绝对不能把包含个人隐私的输入数据发给第三方模型 API 去生成蒸馏数据。一旦发生数据泄露责任无法挽回。第四人脸与声音信息。如果蒸馏任务涉及图像生成、语音合成、数字人必须获得相关人物的授权否则不仅违反模型策略还可能涉及肖像权和声音权问题。Seed 作为企业团队在这些合规问题上比个人开发者敏感得多。这也是它们不轻易蒸馏第三方模型的重要原因之一。9. 常见误区和排查思路关于蒸馏的讨论里有几种误区很容易让人走偏。误区真相排查思路蒸馏后小模型一定比从零训练小模型强不一定教师模型质量差或数据分布不匹配时蒸馏效果可能更差对比同参数量模型在相同评测集上的表现蒸馏是零成本复制大模型能力蒸馏需要大量数据清洗、过滤和人工标注成本并不低计算数据清洗成本和GPU训练成本蒸馏不会导致模型同质化大量团队蒸馏同一个教师模型最终模型会高度同质化观察不同蒸馏模型在长尾问题上的输出相似度蒸馏能突破教师模型能力学生模型能力上限通常由教师模型决定用教师模型本身回答难题再做对比量化、剪枝就是蒸馏量化剪枝是压缩权重蒸馏是学习知识看训练过程是让模型拟合数据还是拟合教师输出如果你在蒸馏过程中发现学生模型训练后效果迟迟上不去优先检查这三项教师模型输出的数据质量、训练数据与目标场景的分布匹配度、蒸馏损失和原始损失的比例是否合理。10. 总结Seed 不蒸馏别人的模型到底为了什么回到最初的问题字节 Seed 为什么不蒸馏别的模型从技术逻辑看答案不是“不行”而是“不划算”。如果 Seed 选择蒸馏 GPT-4 或 Claude短期可能很快获得一个看起来不错的模型但长期会面临三个问题合规风险高、能力天花板低、技术壁垒无法沉淀。而 Seed 显然走的是一条更重、更慢、但更具长期价值的路线自研基础模型、构建自有数据管线、用自家大模型蒸馏家族小模型。这个选择也给做 AI 工程的人一个启示模型蒸馏和自研并不是对立关系而是不同阶段、不同资源约束下的工具箱。小团队在资源紧张时完全可以通过蒸馏快速跑通产品但一旦有长期目标就要尽早考虑如何建立自己的模型迭代闭环。如果你正面临“蒸馏还是自研”的选择建议从数据权限、能力上限、商用边界三个角度重新梳理一遍。这篇文章里提到的决策清单可以直接用来做第一轮筛选。