跳到正文
arXiv cs.AI· Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu·· 2 小时前精选AI 评分60

AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

AI 导读

论文提出 AgentLens 框架,揭示 SWE 智能体评测中 10.7% 的通过轨迹属于 Lucky Pass,即靠回归循环、盲目重试或缺验证侥幸通过测试。团队评估 2,614 条 OpenHands 轨迹并发布含 1,815 条标注轨迹的 AgentLens-Bench 与 SDK,八个模型后端的 Lucky 率在 0.5% 到 23.2% 之间,按质量分排名时部分模型名次最多变动五位。

推荐理由

论文揭示了 SWE 智能体评测只看通过率会漏掉混过的解法,并给出过程级评分基准和开源工具。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:软件工程(SWE)智能体的评估主要由一个二元信号主导:最终补丁是否通过测试。这种仅看结果的观点将有条理的解决方案与混乱的反复试错过程视为等同。我们证明这种等价性在经验上是错误的。我们在 60 个 SWE-bench Verified 任务上评估了来自八个模型后端的 2,614 条 OpenHands 轨迹。其中 47 个任务有足够多的通过轨迹来构建任务级过程参照,从而得到一个包含 1,815 条轨迹的评估子集。在该子集的通过轨迹中,10.7% 表现出我们称为 Lucky Pass(侥幸通过)的行为:回归循环、盲目重试、缺少验证,或探索、实现与验证在时间顺序上的错乱。我们提出 AgentLens,一个面向 SWE 智能体轨迹过程级评估的框架,并发布 AgentLens-Bench,一个包含 1,815 条轨迹的数据集,标注了质量分数、浪费信号、分歧点以及 47 个任务级前缀树接受器(PTA)参照。AgentLens 通过合并同一任务的多个通过解来构建 PTA 参照,并使用一个上下文敏感的意图标注器,基于轨迹历史而非仅凭工具身份,将动作归入探索、实现、验证或编排。在 AgentLens-Bench 上,质量分数将通过轨迹区分为 Lucky、Solid 和 Ideal 三个层级,并进一步将 Lucky Pass 分解为五种反复出现的机制。在八个模型后端中,Lucky 率介于 0.5% 到 23.2% 之间,某些模型在按质量分数而非通过率排名时名次变动多达五位。我们在 this https URL 公开发布 AgentLens-Bench 和 AgentLens SDK,项目页面位于 this https URL。
学科分类: 软件工程 (cs.SE);人工智能 (cs.AI)
引用格式: arXiv:2605.12925 [cs.SE]
  (或 arXiv:2605.12925v5 [cs.SE] 对应此版本)
  https://doi.org/10.48550/arXiv.2605.12925

arXiv 通过 DataCite 发行的 DOI

提交历史

来自:Priyam Sahoo [查看邮件]
[v1] 2026年5月13日 星期三 03:00:57 UTC(545 KB)
[v2] 2026年5月27日 星期三 20:12:24 UTC(542 KB)
[v3] 2026年6月2日 星期二 15:49:40 UTC(542 KB)
[v4] 2026年10月5日 星期一 02:54:23 UTC(549 KB)
[v5] 2026年11月17日 星期二 07:41:17 UTC(3,492 KB)

来源:arXiv cs.AI · arxiv.org