发布SWE-Bench Pro V2：修订任务集并加固评测协议
热点事件持续更新
发布SWE-Bench Pro V2：修订任务集并加固评测协议
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
SWE-Bench Pro 团队发布修订版编码智能体基准 SWE-Bench Pro V2，通过智能体审计、专家裁定与盲测重写，将731个原任务中的480个修复或淘汰，23名工程师投入404小时。基准与数据集已开源。 新协议将网络访问限制到模型端点，并在干净容器中对每个补丁重新评分，防止智能体获取上游修复或因补丁之外的改动得分。 在新基准上，前沿智能体在642个V2任务中最高解决99.4%；包含51个任务的Hard档将各系统的成绩从98.0%拉开到52.9%。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 13:00
SWE-Bench Pro V2 发布：更干净、更难被钻空子的编码基准报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AISWE-Bench Pro V2 发布：更干净、更难被钻空子的编码基准
研究者发布编码智能体基准 SWE-Bench Pro V2，通过智能体审计、专家裁定与盲测重写修复或淘汰了731个任务中的480个，23名工程师投入404小时。新协议限制网络访问到模型端点并在干净容器中重评每个补丁，防止获取上游修复或补丁外得分。642个V2任务上前沿智能体最高解决99.4%，51个任务的Hard档把各系统从52.9%拉开到98.0%，基准与数据集已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。