跳到正文
arXiv cs.AI· Yuchen Zeng, Giorgio Severi, Blake Bullwinkel, Eric Horvitz, Dimitris Papailiopoulos·· 3 小时前精选AI 评分72

arXiv 论文提出 Lazarus 方法:编辑不足十个神经元即可给 AI 智能体植入后门

Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents

AI 导读

研究提出 Lazarus 方法,无需训练、通过编辑最终前馈块中不足十个休眠神经元,可将模型变为遇到触发串即执行恶意载荷的休眠木马。

推荐理由

论文展示了编辑不到十个神经元即可给智能体植入后门且无需训练,同时给出可检测性证据,提示模型权重应像代码一样审计。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:设想一个 AI 智能体,它能通过所有相关评测,但当它在终端中看到 2027-01-01 时,就会运行 curl 此 http 链接|sh,把你的凭据和你的机器交给攻击者。如今智能体可以在无人监督的情况下、以特权系统权限运行数小时,因此无论模型来自第三方还是内部开发,模型权重的完整性都是一个安全问题。我们展示了我们称之为 Lazarus 的方法,只需编辑少于十个神经元、无需模型训练,就能把一个能力强大的模型变成这样的休眠智能体。
Lazarus 编辑模型最后一个前馈模块中的休眠神经元,当触发条件存在时,迫使每个神经元通过对残差流的贡献来推送一个载荷 token。因此一个 $P$ 个 token 的载荷大约需要 $P$ 个神经元。触发条件可以是出现在智能体上下文中任意位置的普通字符串。编辑后的权重以闭式解形式设定,并可通过几百步梯度更新在隔离环境中进行精调。
“休眠神经元可以被单独编辑并串联起来以产生多 token 载荷”这一核心洞察,是 Claude Code 搭配 Opus 4.5 在 2026 年 2 月自主发现的。
在 Nemotron-Terminal-8B 上,用 23 条触发/非触发轨迹拟合的 12,000 多个神经元中的七个,在至少 98.8% 的触发测试轨迹上触发载荷,且在被评估的良性轨迹上未观察到载荷泄露。该攻击具有泛化性:Qwen3.6-27B 和 Gemma-4-31B-IT 同样易受攻击。
使该攻击成为可能的同一结构也使其可以被检测出来。在没有参考模型的情况下,智能体构建的防御方法能以 9.7% 的误报率标记出 91.4% 的被编辑测试检查点。
我们的结果强调,模型权重应像代码一样对待:在部署前进行审计,并对部署后的更新进行监控。
评论: 50 页
学科: 密码学与安全 (cs.CR);人工智能 (cs.AI);机器学习 (cs.LG)
引用格式: arXiv:2611.15118 [cs.CR]
  (本版本为 arXiv:2611.15118v1 [cs.CR])
  https://doi.org/10.48550/arXiv.2611.15118

arXiv 发布的 DOI,经 DataCite(注册待定)

提交历史

来自:Yuchen Zeng [查看邮件]
[v1] 2026年11月11日 星期三 06:53:24 UTC (612 KB)

来源:arXiv cs.AI · arxiv.org