arXiv cs.AI· Junjie Chen·2026-10-23 12:00· 2 小时前精选AI 评分66

arXiv 论文审计 LLM Agent 基准的 oracle 缺陷，修正后成功率从 94.3% 降至 65.5%

When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark

AI 导读

Junjie Chen 等在 arXiv 论文（arXiv:2610.16067）中提出系统性 oracle 完整性审计方法，用五条状态完整性不变量和三个已知答案控制在两个任务域与一个合成域注入七类 oracle 缺陷，全部可检出，57 个可分离变体-目标组合中检出 54 个。

推荐理由

论文给出可复用的 oracle 缺陷审计方法，并量化了一个常用 Agent 基准因 oracle 缺陷导致的成绩虚高。