跳到正文
arXiv cs.AI· Guorui Chen, Tao Liu, Zhenzhen Huang, Yidan Zhang, Liyu Jiang, Shuoyuan Wang, Hanchen Sun, Xu He, Dong Li, Yihan Hu, Jianye Hao, Lei Feng·· 1 天前AI 评分53

MemDev-Bench:记忆系统对代码 Agent 究竟有多大帮助的基准评测

MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories

AI 导读

论文提出 MemDev-Bench,基于真实仓库历史评测记忆系统对代码 Agent 的影响,构建了 555 个基础任务配 4,869 个可执行可验证历史任务的评测集。系统评测发现记忆主要提升细粒度定位与编辑的正确性,但 Agent 不加重新评估地复用记忆会导致本可解决任务失败,且无关历史加剧此问题;直接提供原始历史轨迹则比记忆系统更省步数。

来源:arXiv cs.AI · arxiv.org