跳到正文
热点事件持续更新

研究者发布AgentAbstain:LLM智能体弃权能力评测基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究团队提出AgentAbstain,称这是首个系统性评估工具型LLM智能体弃权能力(即判断何时不应行动)的框架,包含263个成对任务(每个成对任务由一个应行动任务和一个应弃权变体组成)、42个可执行沙盒环境以及AbstainGen自动生成管线,代码与数据集已开源。 在17个前沿模型的4种智能体框架评测中,表现最佳的Gemini 3.1 Pro成对准确率仅59.5%。研究发现弃权能力与通用任务能力基本独立,且模型存在先执行不可逆动作再触发弃权的失效模式。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    AgentAbstain 基准:LLM 智能体能否知道何时不应行动

    研究者提出 AgentAbstain,首个系统性评估工具型 LLM 智能体弃权能力的框架,包含 263 个成对任务、42 个可执行沙盒环境和 AbstainGen 自动生成管线。在 17 个前沿模型的 4 种智能体框架中,最佳者 Gemini 3.1 Pro 成对准确率仅 59.5%,且弃权能力与通用任务能力基本独立,还存在先执行不可逆动作再触发弃权的失效模式。代码与数据集已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。