跳到正文
热点事件持续更新

研究:LLM修复代码可静默失败,边缘输入测试大幅降低错误发布

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Xiaobo Chen 等研究者发布一项预注册研究,量化了 LLM 修复代码在 API 迁移后的“静默失败”问题:代码可正常运行并通过基于典型输入的断言检查,却返回错误结果。研究覆盖 CPython、SQLite 等项目中 73 个任务、60 处文档化变更,发现仅用典型输入做发布检查时,0.410 的错误修复会被放行。研究者验证,加入边缘输入测试可将错误发布率从 0.410 降至 0.065。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.AI
    LLM 代码修复在 API 迁移后的静默失败研究:被接受却出错

    一项预注册研究覆盖 CPython 等项目 73 个任务、60 处文档化变更,发现 LLM 修复代码在 API 迁移后可正常运行却返回错误结果:典型输入上的全断言门控放行了 0.410 的错误修复。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。