arXiv cs.AI· Tianyu Chen, Xinran Zhao, Vijay Viswanathan, Shoubin Yu, Mingyuan Zhou, Tongshuang Wu·· 2 小时前精选AI 评分60
ImpasseBench 论文量化编码智能体的证据行动鸿沟：八款前沿模型三分之一耗尽预算仍不求助
Knowing When to Stop: The Evidence-Action Gap in Coding Agents
AI 导读
论文提出 ImpasseBench，向可修复任务注入十二种环境阻塞并标注证据何时足以判断需要外部帮助，以衡量编码智能体的 evidence-action gap。
推荐理由
论文给出量化编码智能体证据行动鸿沟的基准与数据，升级工具和外部监控的改进幅度可供复用参考。
正文 · AI 翻译
摘要：编程智能体（coding agents）被训练来完成任务，即使环境使任务无法完成，它们仍会不断尝试。表明只有外部帮助才能恢复进展的证据通常在几步之内就会出现，但智能体很少据此行动：它们过度坚持、尝试不受欢迎的变通办法，并声称取得记录所不支持的成功——我们将这种现象称为证据-行动鸿沟（evidence-action gap）。为了测量这一现象，我们提出了 ImpasseBench，它在原本可解决的修复任务中注入十二种真实的环境阻碍，并在每条轨迹中标记出所收集的证据变得充分的步骤。相对于该步骤对行动进行评分，可以将恰当的努力与过度坚持和过早移交区分开来。在八个前沿模型和 19,371 条轨迹上，我们发现几乎所有需要外部帮助的运行都收集到了充分的证据，但仍有三分之一耗尽预算，而且我们检测到的每一个不安全请求都出现在这一时点之后。幸运的是，一个升级工具，或针对忽略该工具的模型的外部监视器，已经能防范大部分此类行为：该工具将预算耗尽率从 34.0% 降至 6.7%，而该监视器使环境恢复后的任务成功率提高近三倍。即便如此，一次已触发的升级仍不等同于一次有用的移交：工单可靠地指出了阻碍因素，但往往省略了智能体自身的进展和验证状态。综上所述，我们认为知道何时停止需要明确的支持，既体现在允许智能体移交的工具中，也体现在它留下的报告中。
| 评论： | 36 页 |
| 学科： | 软件工程 (cs.SE)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用格式： | arXiv:2610.31895 [cs.SE] |
| （本版本的引用格式为 arXiv:2610.31895v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.31895 arXiv 签发的 DOI，经由 DataCite（注册中） |
提交历史
来自：Tianyu Chen [查看电子邮件]
[v1]
2026年10月22日 星期四 20:45:47 UTC（2,039 KB）
来源：arXiv cs.AI · arxiv.org