跳到正文
热点事件持续更新

AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Priyam Sahoo 等研究者发布论文,提出 SWE 智能体轨迹的过程级评估框架 AgentLens,并发布含 1,815 条标注轨迹的数据集 AgentLens-Bench 及 SDK。论文称,在评估的 2,614 条 OpenHands 轨迹中,10.7% 的通过轨迹属于 Lucky Pass,即靠回归循环、盲目重试或缺少验证而侥幸通过测试。 据论文,八个模型后端的 Lucky 率在 0.5% 到 23.2% 之间;若按质量分排名,部分模型名次最多变动五位,说明仅以最终通过结果排名可能掩盖轨迹质量差异。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI精选
    AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题

    论文提出 AgentLens 框架,揭示 SWE 智能体评测中 10.7% 的通过轨迹属于 Lucky Pass,即靠回归循环、盲目重试或缺验证侥幸通过测试。团队评估 2,614 条 OpenHands 轨迹并发布含 1,815 条标注轨迹的 AgentLens-Bench 与 SDK,八个模型后端的 Lucky 率在 0.5% 到 23.2% 之间,按质量分排名时部分模型名次最多变动五位。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。