提出可度量语言模型Agent探索与利用错误的指标

Jaden Park 等研究者在 arXiv 论文中提出一种与策略无关（policy-agnostic）的度量方法，用部分可观测 2D 网格地图和未知符号任务 DAG 模拟实际 Agent 场景，把语言模型 Agent 的错误区分为探索错误或利用错误，该指标能识别无效遍历同时允许必要的回退。团队已公开代码。 评测 35 个前沿语言模型 Agent 显示，多数模型难以在步数预算内达成目标；log 探索错误和利用错误与任务成功率分别呈 R²=0.885 和 0.875 的强相关。此外，使用紧凑记忆 harness 的成功率高于保留完整推理轨迹的推理基线。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。