一个 2.8 万亿参数的模型推理时只点亮 16 个专家。这是 Kimi K32026 年国产开源模型的规模纪录保持者。稀疏化第一次走得这么远全栈开源也第一次走得这么彻底两个第一次叠加在一起让这次开源有了分水岭的味道。7 月 27 日月之暗面把家底全部开源7 月 27 日月之暗面在 X 上放出了 Kimi K3 的完整权重和技术报告前一天这款模型刚刚登陆 Apple App Store 和 Google Play全球用户已经可以上手体验。从 7 月 16 日发布到 7 月 27 日开源中间只隔了 11 天这个节奏比上一代 K2 系列明显更快发布即开源正在成为这家公司的常态打法。这不是一次普通的模型发布开源包里除了权重还包含了配套的分布式通信库、注意力算子和评估沙箱把训练和部署 3T 级模型的关键工程组件一次性交了出来。这在国产大模型里是第一次过去各家开源最多给权重加一份技术报告把工程栈一起摊开放在所有人面前的几乎没有。K3 是原生多模态的 MoE 模型总参数达到 2.8 万亿上下文窗口是 1M token官方定位是长程编程、知识工作与深度推理。这个定位摆明了要吃下 Agent 类工作负载而不是跟聊天机器人抢市场模型的能力设计、评测指标、工程配套全都围绕长任务展开。官方口径里最扎眼的一句是新架构让单位算力的智能产出提升 2.5 倍这句话被社区反复引用也成了后面所有技术争论的起点。如果 2.5 倍属实意味着同样的算力能产出两倍半的智能这对依赖算力堆规模的路线是直接冲击。开源当天Together AI 就宣布完成 Day 0 接入推理服务直接上线Kimi 开放平台的模型列表里也同步出现了 kimi-k3 的条目。生态响应速度在开源模型里相当少见说明头部托管厂商对 K3 的预期很高也在提前卡位长程 Agent 推理这块市场。把这些信息合在一起看K3 开源的分量不在于又多了一个大模型而在于第一次有人把 3T 级模型的完整训练栈公开出来。权重是结果工程栈是过程开源过程比开源结果难得多也值钱得多。896 个专家只激活 16 个稀疏化第一次走得这么远MoE 的基本思路是总参数巨大、单次推理只激活一部分参数这条路已经成了大模型的标配几乎所有头部模型都在用。但稀疏化能走多远各家答案完全不同K3 把这条路走到了极端。K3 共有 896 个专家每个 token 在每一层只激活 16 个专家整体激活率大约是 0.57%。这个数字在公开模型里没有先例以往最激进的稀疏化方案激活率也维持在百分之四以上。作为对比LG 的 K-EXAONE 2.0 是 750B 总参数激活 37B激活率 4.9%DeepSeek V4 Flash 是 284B 总参数激活 13B激活率约 4.6%Qwen3.8-Max 的 2.4T 总参数也保持了 95B 激活。K3 的激活率比它们低将近十倍这是目前公开模型里最激进的稀疏化方案没有之一。激进稀疏化的账算在推理侧2.8T 的模型按 16/896 的比例出活单位 token 的算力成本被大幅摊薄部署方和调用方都能吃到红利。API 定价敢定在输入 3 美元、输出 15 美元每百万 token跟这个结构直接相关。激活参数变少还带来了一个附带好处单卡推理的显存压力显著下降部分场景下甚至可以在更小的集群上把服务跑起来。推理时只需要加载被激活的专家权重和对应的路由状态而不是把 2.8T 全部装进显存这个差别对部署成本是量级的。对中小团队来说这比参数总量更值得关心因为它决定了一个模型能不能用得起、能不能在自己的预算内跑起来。代价也明确专家数量越多路由负载均衡越难做知识碎片化的风险越高。行业里已经出现过专家退化的现象部分专家长期不被路由选中等于白占存储而 K3 的专家规模是行业平均的几十倍这个问题只会更突出。稀疏到 0.57% 之后能力会不会在某些任务上塌方专家之间的协作会不会出现盲区这些都要等真实负载来检验。更关键的是路由策略本身16 个专家的选择是否稳定会不会出现热点专家过载会不会出现某些任务永远选不中合适专家的冷启动问题这些工程细节技术报告里没有展开只能靠实测观察。路由质量直接决定极低激活率下的能力下限这也是社区后续评测最应该盯的位置。一个值得留意的背景是K3 的稀疏化激进程度和它主打的 Agent 长任务之间存在张力。长任务要求模型记住大量上下文并跨步骤推理而极低激活率意味着每一步可用的大脑容量都很小这个矛盾怎么解决是后续评测要盯的重点。Kimi Delta Attention 和 Attention Residuals注意力层动了什么手术K3 的架构创新集中在注意力层官方给出的名字是 Kimi Delta Attention它改的是所有大模型都绕不开的注意力计算方式。传统注意力让每个 token 和全部历史 token 计算相关度代价是序列越长计算量涨得越快长上下文场景尤其吃力。K3 的思路是只让每个 token 和部分关键 token 做完整注意力其余位置走轻量路径从根上砍掉了长序列的计算膨胀。这和稀疏注意力不是同一个概念稀疏注意力是随机或按模式采样历史位置Delta Attention 的取舍是有结构的选择。配合 Attention Residuals注意力输出被做成残差连接用来缓解层数加深之后的信息衰减让深层网络依然能保住早期特征。残差连接本身不是新东西但把注意力输出单独做残差、并且和稀疏选择组合在一起是 K3 特有的做法。这套组合被官方称为单位算力智能提升 2.5 倍的来源也是社区最期待技术报告公开细节的部分。架构论文的完整版本至今没有放出来只有公开权重的模型可以实测很多团队已经在跑自己的对照实验。一个可核对的佐证是K3 在 Arena 的前端开发基准上超过了同期所有对手包括 Claude 和 GPT 系列的旗舰模型。前端开发考察的是把需求变成可运行页面的完整链路这个基准上的领先说明工程改动确实传导到了真实能力上。对研究团队来说Delta Attention 最值得拆的是它的实现细节哪些位置被判定为关键 token、判定的依据是什么、训练时这个选择是怎么被学习的这些问题的答案直接决定这套架构能不能被复现。MoonEP、FlashKDA、AgentEnv开源的不只是权重这次开源真正让工程师兴奋的是三个工程组件它们分别对应训练 3T 级模型最难的三个环节每一块都是被反复打磨过的生产级代码。权重大家见多了工程栈全开还是头一回。MoonEP 是 MoE 的分布式通信库解决专家并行下的全对全通信瓶颈。896 个专家要协同工作卡间通信的调度和带宽优化全在这层通信效率直接决定训练吞吐这是分布式训练里最烧钱也最烧人的环节。FlashKDA 是 Delta Attention 的高性能算子负责把新的注意力机制压进 kernel 层直接决定推理吞吐和显存占用是性能的胜负手。算子库质量参差不齐是行业常态月之暗面把自己的版本开源等于公开了性能优化的答案。AgentEnv 是 Agent 评估沙箱让长程任务可以在受控环境里被反复测试而不是靠人工盯结果。Agent 跑起来会真实操作文件、调用接口、访问网络评测如果不做环境隔离一次测试就可能污染宿主机AgentEnv 解决的正是这个问题。这个组件补的是评测基础设施的短板Agent 评测比模型评测难得多环境隔离、任务注入、结果判定都是工程活。过去这些组件只存在于大厂内部现在任何人可以下载研究相当于拿到了训练 3T 模型的完整工程笔记。这对算力受限的团队尤其珍贵他们不一定能复刻 2.8T 的训练但可以学到同样的工程方法。权重是结果工程栈是过程开源过程比开源结果难得多也值钱得多。这正是 K3 这次开源和以往单纯放权重最大的区别也是社区把它叫做全栈开源的原因。这三件套放在一起看还能读出另一层信息月之暗面把自家训练栈的骨架公开等于邀请全行业来检验它的工程水平这本身就是一种技术自信的表态。敢把过程摊开说明过程经得起看。对国内的开源生态来说这个信号比模型本身更重要它意味着国产大模型的开源正在从给结果进化到给方法后面跟进的公司如果只放权重在开发者心里的分量会明显下降。1M 上下文与 Agent Swarm长程任务的底气1M token 的上下文意味着 K3 可以一口气读完十几本书再回答问题长程任务不再被窗口掐断。上下文窗口是 Agent 类应用的硬门槛窗口不够大任务只能拆碎拆碎就要频繁切换切换就丢状态这是所有长任务失败的共同根源。比上下文更值得注意的是 Agent Swarm官方把它列为 K3 的核心能力之一直接对标多智能体协作这个最热的方向。多智能体不是新概念但以往靠框架硬拼模型只是被调度的单元Swarm 想做的事情是让模型自己长出协作能力。演示里 K3 可以把一个复杂任务拆给多个子 Agent 并行处理再汇总结果这是多智能体协作的模型级支持。任务分解、进度同步、结果合并这些逻辑如果能在模型层完成应用代码会简单一个量级。对开发者来说长程 Agent 应用最难的不是写编排代码而是模型在中途忘事。任务拆得再漂亮记忆断了就全盘皆输所以上下文能力才是 Swarm 能成立的前提两者是配套关系。窗口不够大时常见的降级手段是把任务切碎、分多次调用但切碎意味着要自己维护中间状态工程复杂度和出错概率都会成倍上升。上下文拉长、记忆稳住之后Agent 才能从玩具演示走向真实交付这也是 K3 在 Terminal Bench 这类 Agent 基准上表现抢眼的原因。Terminal Bench 考察的是模型在真实终端环境里完成多步操作任务的能力命令执行、错误恢复、目标保持都在评分范围内比纯对话评测贴近生产得多。基准分数不一定等于生产表现但至少说明长任务的底子搭起来了。Agent Swarm 的工程含义还要更深一层它意味着模型本身具备任务分解和结果合并的能力编排逻辑可以下沉到模型层。这对现有 Agent 框架是直接冲击框架的价值会被重新评估中间层的生存空间会被压缩。开源但带门槛年营收 2000 万美元以上的公司要谈合同K3 的许可证不是 Apache 2.0也不是 MIT而是月之暗面自定义的条款这一点在开源社区里引发的讨论不比架构本身少。开源的定义边界、商用授权的方式、生态扩散和商业变现的平衡全被这一个文件牵动。年营收低于 2000 万美元的公司和个人可以自由使用包括商用场景这个门槛把绝大多数创业团队和独立开发者都划在了免费区内。对大多数开发者来说这条线和完全开源没有区别日常使用和商业产品都不受限制。超过这个门槛的机构需要和月之暗面单独谈判商业合同具体价格没有公开外界猜测会参考云厂商的授权惯例来定。真正受影响的其实是云厂商和大型企业它们要为自己的规模付费这是条款设计的真实意图。这个模式业内叫开放权重附带条款介于完全开源和闭源之间既享受了开源带来的生态扩散又保留了商业变现的通道。Meta 和微软在部分模型上试过类似做法但月之暗面把门槛和规则写得更加明确。对独立开发者和小团队几乎没有影响对云厂商和大厂是明确的分成信号谁拿 K3 做大生意谁就要和月之暗面分账。这等于给生态定了游戏规则先免费壮大社区再向商业规模收租。它反映了大模型开源商业化的新思路权重免费扩散生态和商用另算钱这个平衡术很可能会被后面的厂商跟进。开源不再是非此即彼的选择题而是一道可以精细定价的算术题。开发者上手 K3 的三条路径第一条路径是 APIKimi 开放平台已经上线 kimi-k3 模型输入每百万 token 3 美元输出 15 美元处于旗舰模型的第一梯队。对比同类旗舰的定价这个价格不算便宜但考虑到 2.8T 参数的实际推理成本已经很有竞争力。第二条路径是第三方托管Together AI 在发布当天就完成了接入面向生产级推理负载。托管方负责集群和运维开发者只关心调用这是大多数团队最省心的选择也适合做长程 Agent 的弹性扩容。第三条路径是本地部署但 2.8T 参数的权重需要专业集群显存和带宽门槛极高。单是模型权重就要占用 TB 级存储推理至少需要数十张高端显卡绝大多数团队不用考虑这条路线。对大多数开发者API 是唯一现实路径接入方式和 OpenAI 完全兼容改一行 base_url 就能跑迁移成本几乎为零。已有的工具链、评测脚本、监控体系都可以原样复用。上手之前值得先做一件事把自己真实的 Agent 任务拿 K3 跑一遍对比它在长上下文下的表现和成本再决定要不要迁移。基准榜单是别人的数据自己的任务才是最终答案。from openai import OpenAI client OpenAI( api_keysk-你的Kimi密钥, base_urlhttps://api.moonshot.cn/v1, ) resp client.chat.completions.create( modelkimi-k3, messages[ {role: user, content: 用三句话解释 MoE 为什么能省钱}, ], ) print(resp.choices[0].message.content)K3 之后开源模型的竞争维度变了K3 开源之前行业对开源模型的比较基本围绕三个数字总参数、激活参数、基准分数。K3 之后比较清单里多了一项工程栈开不开这改变了开源竞争的维度也改变了开发者投票的方式。开发者选型时不再只问模型强不强还会问配套的工程栈在不在自己手里这个变化会倒逼所有开源厂商重新设计发布策略。过去开发者选开源模型看权重质量就够了部署、调优、评测都可以自己补。现在情况变了模型越来越复杂单靠社区力量补齐工程配套越来越不现实谁把工程栈一起开源谁就能拿到开发者的默认信任。这个趋势在 K3 之前已经有苗头DeepSeek 开源了部分训练细节华为诺亚开源了 MindMemOS 的记忆框架但把通信库、算子、评估沙箱一起交出来的K3 是第一个。整套方案开源和零散组件开源是两种不同的姿态。对厂商来说这个变化意味着开源策略要重新设计。只放权重会被认为诚意不足放工程栈又担心核心技术外流如何在开放和保留之间划界会是接下来每一家开源厂商都要回答的问题。对开发者来说这是好事选择依据从宣传材料变成了可检验的代码。工程栈开源之后一个模型值不值得押注读一遍它的通信库和算子就能判断七八分信息不对称被大幅压缩。DeepSeek 的后训练杠杆与 Kimi 的全栈开源两条路线指向同一个结论DeepSeek V4 Flash 用 284B 参数证明后训练策略能把小模型的 Agent 能力顶到旗舰水平成本还压到极低这是参数规模之外的另一种玩法。它的路线是省参数、重后训练用策略换能力把有限资源花在训练配方而不是模型体量上对算力受限的团队有直接的参考价值。Kimi K3 用 2.8T 参数证明全栈开源能把大模型的复制成本打到零谁都能拿到和月之暗面同款的训练工具这是规模之外的另一种护城河。它的路线是重规模、重开放用工程换生态。两条路线看似相反指向的结论一致架构之外的工程红利还远没有吃完。参数军备竞赛的说法越来越站不住脚同样参数规模的模型训练策略和工程实现不同能力可以差出几个身位。对普通开发者真正的机会不在参数比拼而在模型之上的 Agent 应用层。基座模型越来越便宜应用层的价值反而越来越集中谁能把模型能力变成用户愿意付费的完整产品谁就站在价值链的上游。对模型厂商来说这场竞争的重心也从单一模型能力转移到了模型、工程栈、生态位三个维度同时作战的综合能力。单点强已经不构成壁垒三样都强才能拿到长期门票。谁先把工程红利吃干净谁就能在下一轮竞争里拿到定价权这句话对模型厂商适用对应用开发者同样适用。红利期不会太长先跑的人先定价后跑的人只能跟随。回到 K3 本身它的意义不在于又多了一个大模型而在于第一次有人把 3T 级模型的完整工程栈摊开在所有人面前。这个动作的影响会长于模型本身的生命周期它会成为后续开源模型的一个参照系。2.8T 参数的模型开源了16 个专家的推理已经在跑全栈工程组件也已经可以下载。接下来拼的不是参数是谁能把工程红利吃干净无论是模型厂商还是站在模型之上的开发者答案都写在 K3 打开的这扇门里。