arXiv cs.AI· Ke Zhang, Sahchit Chundur, Jerry Peprah Owusu, Mohammad Javad Abdolhosseini Qomi, Maziar Raissi·· 2 小时前精选AI 评分63
研究揭示 LLM Agent 检索工具输出导致的证据替换误差
Same Simulation, Different Evidence: Where Retrieved Tool Output Costs LLM Agents Accuracy
AI 导读
研究用 USGS 地球化学模拟器 PHREEQC 构建 158 道执行验证选择题,发现 Agent 通过分区索引读取报告时 GPT-5.1 和 GPT-5.2 准确率分别下降 11.3 和 7.9 分,Claude Opus 4.6 和 Claude Sonnet 4.6 无可检测损失。
推荐理由
论文用可溯源的 PHREEQC 仿真定位检索式上下文管理损失准确性的具体机制,给出证据替换这一可检查的失败模式和缓解手段。
正文 · AI 翻译
摘要:能计算出正确答案的 LLM 智能体仍可能给出错误回答。智能体框架日益倾向于将长的工具输出排除在上下文窗口之外,将其保存为文件,由智能体按需搜索或读取。我们借助一个真实的科学工具来探究这种做法在何处损失了准确率:PHREEQC,美国地质调查局(USGS)广泛使用的地球化学模拟器,其报告可达 846.8k 字符,且其确定性使每个打印值都可被追溯。智能体使用它回答 158 道经过执行验证的多选题。当智能体通过章节索引而非上下文读取模拟器报告时,GPT-5.1 和 GPT-5.2 分别损失 11.3 和 7.9 个百分点的准确率,而 Claude Opus 4.6 和 Claude Sonnet 4.6 未表现出可检测的损失。对全部 11,007 次记录在案的模拟器调用进行重跑显示,两个 GPT 模型计算出标准答案中数值的频率与之前大致相同;变化的是它们回答时所依据的证据。在检索模式下,它们常常跳过报告,根据自己的更高精度输出文件作答,并错误地舍入到相邻选项,我们将这种失败称为证据替换。在保持模拟结果不变的情况下,检索仍使 GPT-5.2 损失 9.4 个百分点。对 GPT-5.4 而言,更频繁的正确模拟掩盖了约十个百分点证据使用损失,使其净变化与零无异。对三个 GPT 模型而言,与单纯检索相比,命名权威输出可将准确率提高 6.3–7.9 个百分点;对 GPT-5.1 和 GPT-5.2,内联能容纳的输出同样有效,而要求正确舍入则无效。智能体框架中的上下文管理选择应依据准确率在何处损失来评判,而非仅看最终准确率。
| 评论: | v2:修订并扩展。新增分析(填空运行、截断分析、专家评审),重绘图表,并重写文本 |
| 分类: | 人工智能 (cs.AI) |
| 引用格式: | arXiv:2610.26836 [cs.AI] |
| (本版本请引用 arXiv:2610.26836v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.26836 arXiv 签发的 DOI,经 DataCite 提供 |
提交历史
来自:Ke Zhang [查看邮件]
[v1]
2026年10月19日 周一 17:57:41 UTC (197 KB)
[v2]
2026年11月16日 周一 19:04:46 UTC (164 KB)
来源:arXiv cs.AI · arxiv.org