arXiv cs.AI· Yuxuan Zhou, Chen Xiong, Haitong Liu, Kuofeng Gao, Yang Bai, Zhiyuan He, Tao Dai, Shu-Tao Xia·· 2 小时前精选AI 评分61
SEAM 基准揭示计算机使用智能体跨屏组合执行有害任务
SEAM: Computer-Use Agents Know the Harm Between Screens, and Commit It Anyway
AI 导读
研究者发布 SEAM(Safety Execution Across Multiple screens)基准,包含 600 个 OSWorld 多步跨应用任务,指令与每屏观察均无害、仅组合后有害,并经服务器日志而非 LLM 裁判打分。
推荐理由
基准把风险藏在跨屏信息组合里,测出识别安全与执行安全的脱节,给评估多屏智能体提供了可复用方法。
正文 · AI 翻译
摘要:面向计算机操作智能体(CUA)的安全基准将危害放在任务的意图或单一屏幕上:一条恶意指令、一条注入的命令、一个钓鱼页面。逐项检查任务和每个屏幕的智能体可以通过这些测试,因此它们无法检验智能体是否会整合不同屏幕上看到的事实。然而在委托式工作中,危害往往正是这样产生的:一个屏幕上是关于某人的信息,另一个屏幕上是关于某物品的信息,再加上一个将二者结合的合法任务。我们提出 SEAM(Safety Execution Across Multiple screens),一个针对这种跨屏幕组合式危害的基准:600 个多步骤、跨应用的 OSWorld 任务,其中指令和每一个单独的观察都是良性的,只有它们的组合是有害的。仅在一处存在差异的最小对(minimal-pair)变体,通过服务器日志而非 LLM 裁判进行评分,可定位智能体在何处失败。通用开源权重和旗舰智能体在高达 92% 的运行中执行了危害,但当用户用一句话明确说明时则会拒绝。智能体会打开关键页面,因此信息暴露并非主要瓶颈。当被问及这些页面时,它们能指出危害;而且在思考过程中,它们往往会在推理中写出这种冲突,却依然确认执行。因此,安全识别并不能可靠地转化为安全执行,而这一转化取决于信息通道:同样的警告在用户指令中比在屏幕上更能阻止智能体。专有模型明显更为谨慎。我们在 此 https 链接 发布 SEAM 及其生成器和质量关卡。
| 评论: | 30 页,14 幅图,29 张表 |
| 主题: | 密码学与安全 (cs.CR);人工智能 (cs.AI) |
| ACM 分类: | I.2.7; I.2.10 |
| 引用格式: | arXiv:2611.22971 [cs.CR] |
| (本版本请参阅 arXiv:2611.22971v1 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2611.22971 通过 DataCite 签发的 arXiv DOI(注册中) |
提交历史
来自:Yuxuan Zhou [查看邮件]
[v1]
2026年11月17日 星期二 15:53:58 UTC (915 KB)
来源:arXiv cs.AI · arxiv.org