arXiv 论文：Agent 基准饱和多在计量而非任务，提出分级评分方法
Agent Benchmarks Stop Ranking Before They Run Out of Tasks
AI 导读
arXiv 论文（arXiv:2611.13541）重评八个基准的已发布运行结果，包括 SWE-bench Verified 和 Terminal-Bench，发现 Agent 基准的饱和多来自计量方式而非任务本身。
推荐理由
论文重评八个 Agent 基准，指出饱和主要源于 pass/fail 计量过粗，并提出带成本轴的对数比率评分方案。
正文 · AI 翻译
摘要：数据科学与机器学习工程智能体在 MLE-bench、ALE-Bench、SWE-fficiency 和 AlgoTune 等基准上进行评估，这些基准的任务会产生一个数量（Kaggle 指标、竞赛得分或加速比）。当最佳模型不再能被区分时，通常的对策是更难的版本。我们对八个已发布运行的基准进行了重新评分，包括为覆盖面而纳入的 SWE-bench Verified 和 Terminal-Bench，发现这种饱和大多源于测量方式而非任务本身。大多数智能体基准将一次运行简化为一个通过/失败比特，这在两方面失效。它过于粗糙：SWE-bench Verified 上相邻的前十名智能体之间的差异小于其测试自身的误差，而修正这些误差后相邻名次的变动不超过随机删除每个智能体六分之一通过项所带来的变动。它以参考值为上限：ALE-Bench 的前十名按竞赛得分可分高下，但按人类中位数水平评分时则打成平手，尽管近一半的运行表现优于该人类水平。在固定任务上，提高门槛只是转移问题；分级计分才能解决它。我们推导了一种带日期锚点的截断对数比分数，并将成本作为独立维度。在 Terminal-Bench 的一次重跑中，通过/失败打平的模型在被测试丢弃的数量上相差十倍以上。
| 学科分类： | 人工智能 (cs.AI) |
| 引用格式： | arXiv:2611.13541 [cs.AI] |
| （或 arXiv:2611.13541v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13541 arXiv 发行的 DOI，经 DataCite（注册待完成） |
提交历史
来自：Zihan Dong [查看邮件]
[v1]
2026年11月10日 星期二 04:03:04 UTC (153 KB)
来源：arXiv cs.AI · arxiv.org