研究:LLM修复代码可静默失败,边缘输入测试大幅降低错误发布
热点事件持续更新
研究:LLM修复代码可静默失败,边缘输入测试大幅降低错误发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Xiaobo Chen 等研究者发布一项预注册研究,量化了 LLM 修复代码在 API 迁移后的“静默失败”问题:代码可正常运行并通过基于典型输入的断言检查,却返回错误结果。研究覆盖 CPython、SQLite 等项目中 73 个任务、60 处文档化变更,发现仅用典型输入做发布检查时,0.410 的错误修复会被放行。研究者验证,加入边缘输入测试可将错误发布率从 0.410 降至 0.065。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
LLM 代码修复在 API 迁移后的静默失败研究:被接受却出错报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AILLM 代码修复在 API 迁移后的静默失败研究:被接受却出错
一项预注册研究覆盖 CPython 等项目 73 个任务、60 处文档化变更,发现 LLM 修复代码在 API 迁移后可正常运行却返回错误结果:典型输入上的全断言门控放行了 0.410 的错误修复。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。