跳到正文
arXiv cs.AI· Yangze Liu, Zhongyi Han·· 2 小时前精选AI 评分61

arXiv 论文测量 coding agent harness 效应:换 harness 的收益大半来自 token 与重跑波动

What Does a Harness Buy? Tokens, Mostly

AI 导读

arXiv 论文 arXiv:2610.04433 v2 将七个模型分别跑在 Claude Code、mini-SWE-agent 和 OpenCode 三个生产级 harness 中,在 SWE-bench Verified 及另外两个基准上重测。

推荐理由

论文用七个模型复测三个生产级 harness,量化换 harness 与重跑的差异,为评测报告方法提供了参考。

正文 · AI 翻译

查看 PDF HTML (实验性)

摘要:编码智能体是运行在框架中的语言模型:系统提示词、工具和上下文管理,让聊天模型能够在一个代码仓库中工作。这些智能体的大部分工程工作都投入在框架上,厂商和排行榜也把分数提升归功于框架。先前的研究固定模型并更换框架,但并未测量这种更换是否比再次运行同一框架对通过率的影响更大。我们在 SWE-bench Verified 以及两个其他类型的基准上,将七个模型运行于三个生产级框架——Claude Code、mini-SWE-agent 和 OpenCode,并原样重新运行。没有任何框架在所有模型上都保持领先。在数据能够限定两个框架之间差异的情况下,该界限为 2 到 5 分,而更换框架导致的任务结果变化与重新运行大致相同。例外情况是特定模型与框架组合中的框架效应,其方向随模型而变化:OpenCode 在一个模型上落后 8 到 9 分,而在另一个模型上领先 14 分。框架之间的成本差异也取决于模型,从不到 10% 到 3 到 4 倍不等。因此,哪个框架更好这一问题离开模型就没有答案,框架差异应与重新运行的结果一并报告。
Comments: 31 页,9 幅图。v2:七个模型,每个模型均重新运行,两个非 SWE 基准;修改了关于通过率和成本的结论。代码与数据:此 https URL
Subjects: 人工智能 (cs.AI); 机器学习 (cs.LG); 软件工程 (cs.SE)
引用格式: arXiv:2610.04433 [cs.AI]
  (本版本的引用格式为 arXiv:2610.04433v2 [cs.AI])
  https://doi.org/10.48550/arXiv.2610.04433

arXiv 通过 DataCite 签发的 DOI

提交历史

来自:Yangze Liu [查看邮件]
[v1] 2026年10月3日 周六 10:47:10 UTC(406 KB)
[v2] 2026年11月18日 周三 13:24:25 UTC(857 KB)

来源:arXiv cs.AI · arxiv.org