跳到正文
热点事件持续更新

自然实验:SWE-Bench Pro 高分模型未显著提升合并率

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yining Hua 在 arXiv 发布论文,利用 2026 年 6 月美国出口管制指令导致 Claude Fable 5 停用 19 天的机会做自然实验:追踪 297 名被迫切换到 SWE-Bench Pro 分数低 11 分的 Opus 4.8 的用户,并以 8,908 名一直使用 Opus 4.8 的开发者作对照,比较其 GitHub pull requests。 结论是使用 Fable 5 仅将 pull request 的 7 天合并率提升 1.4 个百分点(区间 -1.4 至 +4.3),不具有统计显著性,即更高基准得分未带来可检测的真实开发产出提升。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv cs.AI精选
    arXiv 论文发现 SWE-Bench Pro 更高的 Claude Fable 5 并未显著提升真实开发产出

    一篇 arXiv 论文利用 2026 年 6 月 12 日美国出口管制指令导致 Claude Fable 5 停用 19 天的自然实验,追踪 297 名用户切换到 SWE-Bench Pro 低 11 分的 Opus 4.8 前后的 GitHub pull requests,并以 8,908 名一直使用 Opus 4.8 的开发者作对照。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。