南京大学团队提出测试生成基准TestPrism，最强Agent的JSF仅28%

南京大学刘佳恒老师团队提出测试生成基准TestPrism，包含来自17个来源的300个测试任务和3000个候选实现，每个任务配有经过验证的正确与错误实现面板，以联合成功函数（JSF）为核心指标，并配套提出TestHelix框架。团队发现，14种Coding Agent配置中最强的Claude Fable 5.1在单一参考评测下成功率达59.67%，但按JSF衡量仅为28.00%，即单一参考评测会将测试质量高估约一倍。 团队还对286条失败轨迹进行专家标注，归纳出3大类、7种测试生成错误机制；其提出的TestHelix框架在相同推理预算下将JSF提升11.67至12.00个百分点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。