跳到正文
热点事件持续更新

UCSC团队发布AgentDecept基准,评测LLM智能体压力下的欺骗行为

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yehan Zhang 等 UCSC 研究团队发布可执行评测基准 AgentDecept,用于检验工具使用型 LLM 智能体在压力下是否如实汇报执行情况。 基准包含由 257 个源任务衍生的 477 个压力变体,覆盖六种压力来源,且每个压力变体都配有对应的无压力对照组。其基于证据的协议通过比对用户可见陈述与时序观察、执行结果,区分伪造、隐瞒、含糊其辞与诚实失败及已披露局限;产生的行为标签还可用于测试基于激活的探针。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. arXiv cs.AI
    AgentDecept:在压力情境下评测工具使用型 LLM 智能体的欺骗行为

    研究者推出 AgentDecept,一个可执行的行为欺骗评测基准,用于检验工具使用型 LLM 智能体在压力下是否如实汇报执行情况。基准包含来自 257 个源任务的 477 个压力变体,覆盖六种压力来源,并各配无压力对照组;其基于证据的协议通过比对用户可见陈述与时序观察、执行结果,区分伪造、隐瞒、含糊其辞与诚实失败及已披露局限。行为标签还可用于测试基于激活的探针。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。