NVIDIA 提出 Nemotron-Labs-Sigma 大语言连续扩散模型（3B/8B）

作者：Zhihan Yang、Wei Guo、Jean-Marie Lemercier、Simon Welker、Mohammad Mahdi Kamani、Yonggan Fu、Sajad Norouzi、Julius Berner、Tomas Geffner、Karsten Kreis、Yongxin Chen、Molei Tao、John Thickstun、Pavlo Molchanov、Ante Jukić、Arash Vahdat、Morteza Mardani

查看 PDF HTML（实验性）

摘要：离散扩散语言模型（dLM）虽然能实现快速的并行解码，但其非光滑的高维空间阻碍了用于推理和推理加速的轨迹引导。为解决这一问题，我们提出了 Nemotron-Labs-Sigma，这是首个建立在可引导、低维 ODE/SDE 潜空间轨迹之上的大规模（3B/8B）连续 dLM 家族。Nemotron-Labs-Sigma 通过似然优化按块训练，在对被高斯噪声破坏的词元嵌入进行联合去噪的同时学习最优的嵌入几何结构，并利用预训练的自回归（AR）权重进行热启动。在推理阶段，我们发现无分类器引导（classifier-free guidance）和分数温度（score temperature）对于高保真度的推理与编码至关重要。与最先进的离散模型（掩码 dLM 和 AR 基线）相比，Nemotron-Labs-Sigma 在预训练后的标准基准（如 GSM8K、Minerva、HumanEval、MBPP）以及监督微调后的高难度推理任务（如 MATH-500、AIME）上均优于它们，其中编码方面获得最大且一致的提升。除了准确率之外，我们还利用了连续 dLM 独有的两个结构特性。第一，光滑轨迹在低 NFE 下退化平缓，并支持高效的少步蒸馏：在我们研究的方法中，分布匹配（distribution matching）效果最强，在数学上实现约 8 倍加速、在编码上实现约 4 倍加速（每次前向传播生成 8 和 4 个词元），而准确率损失可忽略且保持了多样性。此外，在（SFT 前）蒸馏后的 8B 模型上进行单步投机解码，相比 AR 模型（在 GB200 上）可获得额外约 3.5 倍的吞吐量提升，优于掩码 dLM 基线。第二，嵌入空间引导可控制质量–多样性权衡，带来强劲的 pass@$k$ 表现，且随着 $k$ 增大仍在持续提升。这些结果共同确立了连续 dLM 作为高效语言生成的一个有前景的范式。

评论：	模型家族权重已在此 https 链接公开提供
学科：	计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）
引用格式：	arXiv:2610.02665 [cs.CL]
	（本版本为 arXiv:2610.02665v2 [cs.CL]）
	https://doi.org/10.48550/arXiv.2610.02665 arXiv 通过 DataCite 发布的 DOI

提交历史

来自：Wei Guo [查看邮件]
[v1] 2026年10月2日周五 01:34:44 UTC（1,471 KB）
[v2] 2026年11月12日周四 18:38:36 UTC（1,710 KB）