发布VerifierBench验证器生成基准

研究团队在 arXiv 发布 VerifierBench，一个评测面向 LLM Agent 的可执行验证器生成能力的基准，包含来自六个 agent 基准的 222 个任务和 4,993 个隐藏测试用例（含替代有效解与攻击样例），覆盖工具调用、基于状态和代码验证三类场景，并配有 Verifier4Verifier 六项审计。项目页面与数据集已公开。 对 19 个模型的评测显示，归一化平衡准确率在 10.6 到 62.1 之间，且生成的验证器在拒绝无效解方面一贯比接受有效解更可靠。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。