英伟达开源离散扩散语言模型，吞吐量提升 2.42 倍破解大模型生成慢难题

【导语英伟达日前开源了 Nemotron-Labs-TwoTower 离散扩散语言模型该模型基于现有骨干网络改造降低了开发成本。其独特的双塔架构大幅提升了推理吞吐量兼顾速度与输出效果开发者可自由下载测试和商用部署。】开源模型降低成本破解生成速度难题英伟达开源的 Nemotron-Labs-TwoTower 离散扩散语言模型旨在解决大模型逐一生成 Token 速度慢的痛点。此模型基于现有 Nemotron 骨干网络改造复用预训练权重无需从零完整训练这一举措大幅降低了开发成本。双塔架构并行生成拉高推理吞吐量该模型总参数量 60B拆分为两座 30B 独立神经网络协同工作每塔激活 3B 参数搭载 128 个可路由专家模块。上下文塔固定冻结负责留存全文语义信息去噪塔专门训练依靠扩散机制并行生成文本两塔通过交叉注意力互通数据。与传统模型逐 Token 串行输出不同双塔架构可并行写入文本大幅拉高了推理吞吐量。性能测试速度与质量实现平衡多类基准测试数据显示模型综合能力保留原版 98.7% 水准文本生成吞吐速度直接提升 2.42 倍仅代码、数学类任务小幅下滑。测试覆盖常识、数学、代码、阅读理解等多项任务多数指标与原版基本持平平衡了生成速度与内容质量。开源协议与运行要求推动模型落地应用该模型采用英伟达专属开源协议开放权重开发者可自由下载测试、商用部署。运行需搭配双张 H100 或 A100 80GB 显卡单卡仅支持纯自回归模式双塔完整推理需双卡协同。编辑观点英伟达开源的离散扩散语言模型在降低开发成本的同时显著提升了生成速度且保证了内容质量有望在自然语言处理领域得到广泛应用推动行业发展。