复旦等机构提出LoLBench基准，测Agent在大型代码库的能力

复旦大学、香港城市大学、香港中文大学等机构提出LoLBench基准，用平均约240万行源代码的软件系统评测Agent从功能提案到模块交付的能力。实测28种Agent组合中，Opus 5搭配Claude Code或mini-SWE-agent均以14%的解决率并列最高，全部组合的中位数仅2%。论文见 https://arxiv.org/abs/2609.37143。 LoLBench从社区功能提案及对应已合并PR中选取100项任务，覆盖29个系统、8种语言和5个领域。评测在断网的Docker环境中进行，以防Agent检索上游实现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。