IBM团队论文：LLM验证代码生成需区分三层失败面

IBM Research 的 Aditya Vempaty 等发布 arXiv 论文，论证评估 LLM 生成代码的“验证”指标实际混杂了三个不同属性：验证器接受（Surface A）、语法层面规范绑定（Surface B）与语义层面规范保真（Surface C）。核心观点是：代码通过验证器不等于真正满足规范，三个层面可能各自失败，评测方法需要将它们区分开。论文同时指出，由于任务预算、修复流程与测试框架存在差异，目前无法声称不同系统达到“同等性能”。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。