AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题
热点事件持续更新
AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Priyam Sahoo 等研究者发布论文,提出 SWE 智能体轨迹的过程级评估框架 AgentLens,并发布含 1,815 条标注轨迹的数据集 AgentLens-Bench 及 SDK。论文称,在评估的 2,614 条 OpenHands 轨迹中,10.7% 的通过轨迹属于 Lucky Pass,即靠回归循环、盲目重试或缺少验证而侥幸通过测试。 据论文,八个模型后端的 Lucky 率在 0.5% 到 23.2% 之间;若按质量分排名,部分模型名次最多变动五位,说明仅以最终通过结果排名可能掩盖轨迹质量差异。
AI 根据报道生成 · 36 分钟前更新
最新进展11月18日 13:00
AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AI精选AgentLens 论文揭示 SWE-Agent 评测中的 Lucky Pass 问题
论文提出 AgentLens 框架,揭示 SWE 智能体评测中 10.7% 的通过轨迹属于 Lucky Pass,即靠回归循环、盲目重试或缺验证侥幸通过测试。团队评估 2,614 条 OpenHands 轨迹并发布含 1,815 条标注轨迹的 AgentLens-Bench 与 SDK,八个模型后端的 Lucky 率在 0.5% 到 23.2% 之间,按质量分排名时部分模型名次最多变动五位。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。