DiffuSpace 团队发布扩散语言模型 Clover-35B-A3B-Preview 技术报告
Clover-35B-A3B-Preview Technical Report
AI 导读
DiffuSpace 技术团队发布 Clover-35B-A3B-Preview 技术报告,该模型为 350 亿总参数、30 亿激活参数的 MoE 扩散语言模型,支持思考模式。
推荐理由
原文给出扩散语言模型的架构细节与多项智能体基准数字,读者可据此评估其在受限显存部署下的实际表现。
正文 · AI 翻译
摘要:我们介绍 Clover-35B-A3B-Preview(Clover),一种混合专家扩散语言模型,总参数量 350 亿、激活参数量 30 亿,支持思维模式生成。Clover 将门控 Delta 网络适配到块扩散中,把先前生成上下文的循环记忆与当前块内的双向 softmax 注意力相结合。历史记忆读取与当前块 token 在共享 softmax 中竞争,并配有可学习的块大小校准以及一个独立的、零初始化的右上下文卷积分支。Clover 在所评估的七项智能体指标中均居首位,包括 SWE-bench Verified 上的 73.6 分和 Terminal-Bench 2.1 上的 51.7 分。在内部智能体工作负载中,使用一块 NVIDIA GB300 GPU、BF16 精度、批大小为 1 的条件下,报告的生成速度达到 680 tokens/s。我们围绕模型质量、起草与验证成本以及受限内存下的部署来组织评估。我们还描述了一种决策模型变体,可在一次去噪过程中生成相关问题的答案。在一个包含 500 组的内部集合上,联合预测将单题准确率从 90.37% 提升到 93.88%,全组全对准确率从 65.4% 提升到 77.0%。
| 评论: | 技术报告。代码:此 https URL 权重:此 https URL |
| 学科: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用方式: | arXiv:2611.24636 [cs.CL] |
| (或本版本的 arXiv:2611.24636v1 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2611.24636 通过 DataCite 签发的 arXiv DOI(注册中) |
提交历史
来自:Shansan Gong [查看邮件]
[v1]
2026年11月18日 星期三 15:46:14 UTC(423 KB)
来源:arXiv cs.AI · arxiv.org