跳到正文
arXiv cs.AI· DiffuSpace Technical Team·· 2 小时前精选AI 评分61

DiffuSpace 团队发布扩散语言模型 Clover-35B-A3B-Preview 技术报告

Clover-35B-A3B-Preview Technical Report

AI 导读

DiffuSpace 技术团队发布 Clover-35B-A3B-Preview 技术报告,该模型为 350 亿总参数、30 亿激活参数的 MoE 扩散语言模型,支持思考模式。

推荐理由

原文给出扩散语言模型的架构细节与多项智能体基准数字,读者可据此评估其在受限显存部署下的实际表现。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们介绍 Clover-35B-A3B-Preview(Clover),一种混合专家扩散语言模型,总参数量 350 亿、激活参数量 30 亿,支持思维模式生成。Clover 将门控 Delta 网络适配到块扩散中,把先前生成上下文的循环记忆与当前块内的双向 softmax 注意力相结合。历史记忆读取与当前块 token 在共享 softmax 中竞争,并配有可学习的块大小校准以及一个独立的、零初始化的右上下文卷积分支。Clover 在所评估的七项智能体指标中均居首位,包括 SWE-bench Verified 上的 73.6 分和 Terminal-Bench 2.1 上的 51.7 分。在内部智能体工作负载中,使用一块 NVIDIA GB300 GPU、BF16 精度、批大小为 1 的条件下,报告的生成速度达到 680 tokens/s。我们围绕模型质量、起草与验证成本以及受限内存下的部署来组织评估。我们还描述了一种决策模型变体,可在一次去噪过程中生成相关问题的答案。在一个包含 500 组的内部集合上,联合预测将单题准确率从 90.37% 提升到 93.88%,全组全对准确率从 65.4% 提升到 77.0%。
评论: 技术报告。代码:此 https URL 权重:此 https URL
学科: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用方式: arXiv:2611.24636 [cs.CL]
  (或本版本的 arXiv:2611.24636v1 [cs.CL])
  https://doi.org/10.48550/arXiv.2611.24636

通过 DataCite 签发的 arXiv DOI(注册中)

提交历史

来自:Shansan Gong [查看邮件]
[v1] 2026年11月18日 星期三 15:46:14 UTC(423 KB)

来源:arXiv cs.AI · arxiv.org