ImpasseBench基准量化编码代理的证据-行动差距

论文作者在arXiv发布论文，提出ImpasseBench基准，用于量化编码智能体的“证据-行动差距”：该基准向本可修复的任务注入十二种现实环境阻塞，并标注每条轨迹中证据何时已足以判断需要外部求助。 论文称，在八款前沿模型、19371条轨迹的测试中，几乎所有需要外部帮助的运行其实都已收集到足够证据，却仍未能据此求助；论文提出的监测工具将预算耗尽比例从34.0%降至6.7%，并在环境恢复后使任务成功率提升近三倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。