arXiv cs.AI· Moises Andrade, Joonhyuk Cha, Brandon Ho, Vriksha Srihari, Karmesh Yadav, Zsolt Kira·· 3 小时前精选AI 评分65
ICLR 2026 论文提出 Self-Grounded Verification 缓解 MLLM 验证器的 agreement bias
Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification
AI 导读
arXiv:2507.11662 论文评估MLLM作为智能体验证器，发现其普遍倾向过度认可智能体行为的agreement bias，且测试时扩展难以缓解。
推荐理由
论文基于13个模型和28种评审设计识别出MLLM验证器的agreement bias，并给出可复用的SGV两步验证方法与量化收益。
正文 · AI 翻译
摘要：验证器——为智能体行为分配奖励的函数——一直是人工智能在数学、代码和游戏领域取得进展的关键。然而，将成果扩展到缺乏明确成功标准的领域（如计算机使用）仍是一个挑战：虽然人类能够识别期望的结果，但将这种直觉转化为可扩展的规则并非易事。多模态大语言模型（MLLM）凭借其世界知识、人类偏好对齐和推理能力，提供了一种有前景的解决方案。我们在网页导航、计算机使用和机器人领域评估了 MLLM 验证器，涵盖 13 个模型、28 种评判器设计、多样的智能体轨迹以及不同的下游应用。我们发现了一个关键局限：MLLM 存在过度认可智能体行为的强烈倾向，我们将这一现象称为一致性偏差。这种偏差在各个模型中普遍存在，对测试时扩展具有抵抗力，并且会损害依赖 MLLM 判断的流程（如自我改进）。我们讨论了验证器设计与评估的原则，并提出了 SGV，一种通过调节（非）条件生成来利用 MLLM 自身能力从而改进验证的方法。首先，MLLM 在独立于被评估数据的情况下，生成关于期望行为的广泛先验。然后，在生成的先验条件下，它对候选轨迹进行推理并做出评判。我们的方法得到了与人类判断更一致的验证器，在故障检测上最高提升 25 个百分点，在准确率上提升 14 个百分点，并惠及下游应用。在自我改进和在线监督中，我们的验证器提升了 OSWorld 中 GUI 专家模型、robomimic 中扩散策略以及 VisualWebArena 中 ReAct 智能体的任务完成率——超越此前 SOTA 达 20 个百分点。最后，我们发布了 VisualWebArena 的更新版本，包含改进的评估器、支持超过 10 倍加速的高保真环境并行化，以及 VWA-Lite——一个评估保真度相当的 1/3 规模子集。
| 评论： | ICLR 2026。代码、模型和数据已在 this https URL 公开 |
| 分类： | 人工智能 (cs.AI)；计算与语言 (cs.CL)；机器学习 (cs.LG)；多智能体系统 (cs.MA)；机器人学 (cs.RO) |
| 引用为： | arXiv:2507.11662 [cs.AI] |
| （或 arXiv:2507.11662v4 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2507.11662 arXiv 通过 DataCite 发布的 DOI |
|
| 期刊 参考： | 第十四届国际学习表征会议论文集 (ICLR 2026) |
提交历史
来自：Moises Andrade [查看邮件]
[v1]
2025 年 7 月 15 日 星期二 18:50:29 UTC (37,947 KB)
[v2]
2025 年 12 月 23 日 星期二 11:29:24 UTC (45,504 KB)
[v3]
2026 年 3 月 8 日 星期日 00:45:24 UTC (13,237 KB)
[v4]
2026 年 11 月 11 日 星期三 02:30:46 UTC (13,237 KB)
来源：arXiv cs.AI · arxiv.org