arXiv cs.AI· Guorui Chen, Tao Liu, Zhenzhen Huang, Yidan Zhang, Liyu Jiang, Shuoyuan Wang, Hanchen Sun, Xu He, Dong Li, Yihan Hu, Jianye Hao, Lei Feng·· 1 天前AI 评分53
MemDev-Bench:记忆系统对代码 Agent 究竟有多大帮助的基准评测
MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories
AI 导读
论文提出 MemDev-Bench,基于真实仓库历史评测记忆系统对代码 Agent 的影响,构建了 555 个基础任务配 4,869 个可执行可验证历史任务的评测集。系统评测发现记忆主要提升细粒度定位与编辑的正确性,但 Agent 不加重新评估地复用记忆会导致本可解决任务失败,且无关历史加剧此问题;直接提供原始历史轨迹则比记忆系统更省步数。
来源:arXiv cs.AI · arxiv.org