arXiv 论文发现 SWE-Bench Pro 更高的 Claude Fable 5 并未显著提升真实开发产出
Higher-Scoring Coding Models Did Not Get More Work Done
AI 导读
一篇 arXiv 论文利用 2026 年 6 月 12 日美国出口管制指令导致 Claude Fable 5 停用 19 天的自然实验,追踪 297 名用户切换到 SWE-Bench Pro 低 11 分的 Opus 4.8 前后的 GitHub pull requests,并以 8,908 名一直使用 Opus 4.8 的开发者作对照。
推荐理由
研究用出口管制造成的模型切换作自然实验,发现基准分数更高的编码模型并未带来更高的 PR 合并率,为基准与真实生产力的差距提供了实证。
正文 · AI 翻译
摘要:新的编程模型以编程基准测试的分数提升作为卖点。然而尚无研究检验过在这些基准测试中得分更高的模型是否真能完成更多实际工作。2026 年 6 月 12 日,一项美国出口管制指令导致 Claude Fable 5 被禁用 19 天,迫使用户改用其他模型。在此期间,大多数原 Fable 5 用户转用了 Opus 4.8(在 SWE-Bench Pro 上比 Fable 5 低 11 分)。我们将这次停用视为一个自然实验:人员和项目保持不变,只有模型发生了变化,从而可以隔离出 Fable 5 对用户生产力的影响。我们跟踪了 297 名 Fable 5 用户在停用前、期间和之后的 GitHub 拉取请求。我们以 8,908 名始终使用 Opus 4.8 的开发者作为对照组。我们还在停用前后对 2026 年的五次模型升级重复了这一比较(1,208 名开发者,15,442 个拉取请求)。通过拟合带有开发者和日期固定效应的双重差分模型,我们发现能够使用 Fable 5 仅将拉取请求的 7 天合并率提高了 1.4 个百分点 [-1.4; +4.3],这在统计上不显著。同样,升级也未带来合并率的显著提升(加权均值:-0.9 个百分点 [-1.9; +0.2]);五项估计值均为负值(95% 区间包含 0,彼此之间无差异)。我们也没有观察到每周合并的拉取请求数量有显著增加(+2.4% [-4.9%; +10.2%])。
| 评论: | 20 页,4 幅图 |
| 学科分类: | 软件工程 (cs.SE);人工智能 (cs.AI);机器学习 (cs.LG) |
| 引用方式: | arXiv:2611.23216 [cs.SE] |
| (或 arXiv:2611.23216v1 [cs.SE] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.23216 经 DataCite 的 arXiv 签发 DOI(注册中) |
提交历史
来自:Yining Hua [查看邮件]
[v1]
2026 年 11 月 17 日 星期二 18:56:42 UTC(170 KB)
来源:arXiv cs.AI · arxiv.org