研究提出LLM无代码Bug修复的自动化验证流水线

Utku Boran Torun 等在 arXiv 发文，提出一套基于执行的自动化流水线，在真实浏览器环境中验证大语言模型生成的无代码 Bug 修复，评估了 Faulty Configuration、Wrong Version、External System & Dependency 三类共 322 个修复，涉及 12 个模型配置。 结果显示：候选问题中仅 17.6% 能完成环境搭建并通过两项健全性检查；322 个修复的解决率在 14.6% 到 49.7% 之间，取决于执行器，最强配置为 Vanilla 流水线中的 Claude Opus 4.6，在 Claude Sonnet 5 执行下解决率最高达 74.1%。 研究还发现验证结果对执行器高度敏感：仅更换执行器就会使一个配置的解决率平均变动 38.8%，三个执行器仅对 46.9% 的修复给出一致判定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。