自然实验:SWE-Bench Pro 高分模型未显著提升合并率
热点事件持续更新
自然实验:SWE-Bench Pro 高分模型未显著提升合并率
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yining Hua 在 arXiv 发布论文,利用 2026 年 6 月美国出口管制指令导致 Claude Fable 5 停用 19 天的机会做自然实验:追踪 297 名被迫切换到 SWE-Bench Pro 分数低 11 分的 Opus 4.8 的用户,并以 8,908 名一直使用 Opus 4.8 的开发者作对照,比较其 GitHub pull requests。 结论是使用 Fable 5 仅将 pull request 的 7 天合并率提升 1.4 个百分点(区间 -1.4 至 +4.3),不具有统计显著性,即更高基准得分未带来可检测的真实开发产出提升。
AI 根据报道生成 · 1 小时前更新
最新进展11月19日 13:00
arXiv 论文发现 SWE-Bench Pro 更高的 Claude Fable 5 并未显著提升真实开发产出报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv cs.AI精选arXiv 论文发现 SWE-Bench Pro 更高的 Claude Fable 5 并未显著提升真实开发产出
一篇 arXiv 论文利用 2026 年 6 月 12 日美国出口管制指令导致 Claude Fable 5 停用 19 天的自然实验,追踪 297 名用户切换到 SWE-Bench Pro 低 11 分的 Opus 4.8 前后的 GitHub pull requests,并以 8,908 名一直使用 Opus 4.8 的开发者作对照。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。