论文指审计LLM Agent基准存在oracle缺陷，修正后成功率降至65.5%
热点事件持续更新
论文指审计LLM Agent基准存在oracle缺陷，修正后成功率降至65.5%
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Junjie Chen 等在 arXiv 论文（arXiv:2610.16067）中提出针对 LLM Agent 评测基准的系统性 oracle 完整性审计方法，发现基准存在分数表无法显示的 oracle 缺陷；修正 oracle 后，任务成功率从 94.3% 降至 65.5%，且修复后的 oracle 不产生误报。 该方法用五条状态完整性不变量和三个已知答案控制，在两个任务域与一个合成域注入七类 oracle 缺陷，全部可检出；57 个可分离变体-目标组合中检出 54 个。 论文同时报告，该方法未能迁移到一个独立实现的第二基准，适用范围存在限制。
AI 根据报道生成 · 52 分钟前更新
最新进展10月23日 12:00
arXiv 论文审计 LLM Agent 基准的 oracle 缺陷，修正后成功率从 94.3% 降至 65.5%报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AI精选arXiv 论文审计 LLM Agent 基准的 oracle 缺陷，修正后成功率从 94.3% 降至 65.5%
Junjie Chen 等在 arXiv 论文（arXiv:2610.16067）中提出系统性 oracle 完整性审计方法，用五条状态完整性不变量和三个已知答案控制在两个任务域与一个合成域注入七类 oracle 缺陷，全部可检出，57 个可分离变体-目标组合中检出 54 个。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。