arXiv 论文:多智能体系统中 Claude Code 和 Codex 的安全性取决于最弱子智能体
Only as Safe as the Weakest Agent: A Break That Appears Only When the System Is Multi-Agent
AI 导读
论文展示仅针对多智能体系统的攻击可在未修改的 Claude Code、Codex 和参考 harness 中触发失效:强模型编排者自行检索文件时在超过 1,000 次试验中几乎零有害修订,但委托较弱的子智能体后分别在 20/180、44/180、75/180 和 553/900 的试验中失败。
推荐理由
论文用实测数据显示多智能体系统的安全性取决于最弱子智能体,对理解 Agent 架构风险有直接参考价值。
正文 · AI 翻译
摘要:Codex 和 Claude Code 等主要工业界多智能体系统可以被那些长期以来对现代前沿模型均告失败的攻击所攻破。AI 安全作为一个学科,主要聚焦于寻找孤立使用的 AI 模型的边界和漏洞。然而,随着人类越来越多地将这些模型部署为智能体和多智能体系统,那些被认为在孤立使用模型时已经修复的攻击,可能在特定情况下再次攻破同样的模型。我们证明这些系统攻破并非纯理论层面,而是可以攻破 Claude Code、Codex 和一个参考 harness,全部未做修改并使用它们自身的子智能体机制。我们通过要求智能体回答来自磁盘上一组文件的问题来展示这种攻击,其中我们植入了一条伪造记录。在自行搜索该存储时,强大的模型编排者在超过 1,000 次试验中几乎做出零次有害修改。然而,如果同一个编排者模型委托给一个更廉价的子智能体——而这些 harness 正是为这样做而构建的——同样的模型在同样的事实上分别在 20/180、44/180、75/180 和 553/900 的试验中失败。因此,即使系统由强大的模型驱动,系统的安全性也落在弱读取者的水平附近,而非编排者的水平。对 18 个模型的模拟在交付渠道中显示出同样的效应:五个聚合器单独运行时几乎从不出现不安全行为,却在 751/757 次试验中重复了一个被破坏的子智能体的错误。使用强编排者智能体和较弱子智能体的现实世界智能体系统,以及多智能体系统总体而言,其安全性不是由强智能体的安全性决定,而是由最弱智能体的安全性决定。
| 评论: | 被 NeurIPS 2026 首届 Meta Agents: Managing Agents that Manage Agents(Meta-Agents)研讨会接收 |
| 分类: | 多智能体系统 (cs.MA);人工智能 (cs.AI) |
| 引用格式: | arXiv:2611.17520 [cs.MA] |
| (本版本为 arXiv:2611.17520v1 [cs.MA]) | |
| https://doi.org/10.48550/arXiv.2611.17520 arXiv 通过 DataCite 发放的 DOI(注册待完成) |
提交历史
来自:Keegan Wang [查看邮件]
[v1]
2026年11月12日 周四 21:14:49 UTC (163 KB)
来源:arXiv cs.AI · arxiv.org