arXiv cs.AI· Daniel Furman, Preeya Kirani, Ibrahim Sheikh, Zhen Li, Peter Zhong, Michele Catasta·· 1 小时前精选AI 评分60
Replit 发布 ViBench 2.0 基准：评估长周期智能体软件构建
ViBench 2.0: A Benchmark for Long-Horizon Software Building
AI 导读
Replit 团队发布 ViBench 2.0 基准，用于评估长周期软件构建能力，含 17 个全栈 Web 产品、241 条功能请求和 544 个由浏览器智能体执行的测试计划，仅在成品阶段判分。
推荐理由
论文给出长周期软件开发基准的设计与九个模型实测结果，读者可据此了解智能体从局部通过到完整交付之间的可靠性差距。
正文 · AI 翻译
摘要：在 Replit——我们的智能体工程平台上——用户如今无需编写代码，只需通过向智能体连续提出功能请求，就能构建完整的产品。然而，现有的编程基准评测的都是单一的、完全明确指定的任务，且许多已接近饱和。我们提出 ViBench 2.0，一个面向长程软件构建的基准，我们用它来为平台挑选模型。其中的 17 个全栈 Web 产品以广泛使用的软件为原型，通过 241 个功能请求逐步扩展，并且只有在完成时才像用户那样进行评判：一个浏览器智能体运行 544 个测试计划，只有每个计划都通过，构建才算成功，评分协议经过验证以确保这一严格分数的可靠性。对九个模型的评估显示存在可靠性差距：三个最强的模型最多能通过 98% 的测试计划，但在最多 65% 的构建中交付完全可用的产品，而没有任何开源权重模型能交付一个。这一差距正在快速缩小：在同一个模型系列的三个版本中，公开产品上的 pass@1 从 3% 提升到 53%，而每次构建的成本下降了一半以上。我们随评测框架和评分器一起发布八个产品，保留九个不公开，并报告生产使用中的经验教训。
| 主题： | 人工智能 (cs.AI)；软件工程 (cs.SE) |
| ACM 分类： | I.2.2; D.2.5; D.2.8 |
| 引用方式： | arXiv:2611.05620 [cs.AI] |
| （本版本为 arXiv:2611.05620v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.05620 通过 DataCite 提供的 arXiv 签发 DOI（待注册） |
提交历史
来自：Peter Yong Zhong [查看邮件]
[v1]
2026年11月3日 星期二 21:04:39 UTC (564 KB)
来源：arXiv cs.AI · arxiv.org