arXiv cs.AI· Fernando Vallecillos-Ruiz, Islem Bouzenia, Michael Pradel, Leon Moonen·· 3 小时前精选AI 评分60
论文研究软件工程 Agent 轨迹删除的效果与隐藏成本
The Hidden Costs of Forgetting: A Study of Trajectory Deletion in Software Engineering Agents
AI 导读
arXiv 论文(arXiv:2610.35496)对软件工程 Agent 的轨迹删除做了实证研究,覆盖 42 种轨迹缩减配置、两个 SOTA Agent 在 SWE-bench Verified 上的 9,400 次运行。
推荐理由
该实证研究用 9400 次运行揭示轨迹删除节省 token 却可能推高成本,为 Agent 成本优化提供了可迁移的定价模型视角。
正文 · AI 翻译
摘要:软件工程智能体(agent)在每一轮都会将其完整轨迹重新发送给 LLM,这促使了在线轨迹削减的研究。先前的工作表明,随机删除旧轮次中 75% 的 token 可能保持智能体的有效性,但仍不清楚原因是什么、智能体如何补偿缺失内容,以及它是否真的降低了成本。本文对 42 种轨迹削减配置进行了实证研究,重点关注有效性、智能体行为和成本。我们在 SWE-bench Verified 上使用两个最先进的智能体进行了 9,400 次运行,通过改变删除的范围、粒度、数量和时机,系统地探索从旧轮次中删除内容的方法。我们发现删除大量轨迹内容(例如,高达 100% 的推理文本)可以保持整体有效性。重要的是,这种删除必须延迟应用,因为立即删除往往会显著降低有效性。智能体常常通过重新获取被删除的内容来进行补偿,这增加了轮次数以及输入/输出 token 数量。轨迹削减是否能降低成本取决于定价模型:在固定定价模型下,42 项评估中有 26 项的估计成本有所下降。令人惊讶的是,在缓存感知定价模型下,没有任何一项评估能降低成本,因为削减轨迹会破坏以较低费率计费的缓存前缀。我们的发现有三个启示:第一,仅看 token 数量会产生误导;轨迹削减技术必须在现实的定价模型下考虑整体成本。第二,分析轨迹对于理解智能体行为至关重要,因为端到端的有效性掩盖了诸如过度重新获取之类的差异。最后,这些结果凸显了未来开展内存管理研究的必要性,以便在不牺牲有效性的前提下降低成本。
| 学科分类: | 软件工程 (cs.SE);人工智能 (cs.AI) |
| 引用格式: | arXiv:2610.35496 [cs.SE] |
| (本版本为 arXiv:2610.35496v1 [cs.SE]) | |
| https://doi.org/10.48550/arXiv.2610.35496 通过 DataCite 获取 arXiv 签发的 DOI(注册中) |
提交历史
来自:Fernando Vallecillos-Ruiz [查看邮件]
[v1]
2026年10月26日 星期一 14:25:17 UTC(256 KB)
来源:arXiv cs.AI · arxiv.org