AnchorRep 用表示排斥防御 LLM 跨模型对抗迁移攻击
AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion
AI 导读
论文提出 AnchorRep，用轻量 LoRA 适配器把被防御模型对有害提示的内部表示推离冻结锚模型，无需对抗样本即可削弱跨模型对抗迁移。在 5 个模型、4 个架构家族的 2,000 个迁移攻击上，攻击成功率降至 <=1.1%，Mistral 从 36% 降至 1.1%。
推荐理由
论文给出跨模型对抗迁移的防御新思路，用表示几何而非对抗训练，并补充了现有防御的隐性代价与可复现代码。
正文 · AI 翻译
摘要：针对单个开放权重 LLM 优化的对抗性攻击可以迁移到架构不同的模型并实现越狱，使仅对一个模型拥有白盒访问权限的攻击者能够攻破独立部署的系统。这在多个模型之间造成了共享漏洞，然而现有的防御并未针对这种跨模型威胁进行设计。我们发现跨模型迁移与共享的内部表示几何结构相关，这使其成为天然的防御目标。AnchorRep 直接针对这种几何结构，使用一个轻量级 LoRA 适配器，将受防御模型对有害提示词的内部表示推离同一提示词下冻结的锚点模型的内部表示。训练仅使用少量有害提示词，且不需要对抗样本。在五个模型和四种架构家族上，AnchorRep 将跨模型攻击成功率在 2,000 个迁移攻击上降至 <=1.1%（其中两个模型上为 0%），包括在 Mistral 上最大的降幅（36% -> 1.1%）。现有防御可以减少迁移，但代价高昂：要么导致高达 77% 的退化良性输出，要么使过度拒绝增加多达 18%。由于标准基于拒绝的指标无法捕捉这类退化良性输出，我们引入了良性乱码率（Benign Garble Rate）来量化它们。我们的结果表明，跨模型鲁棒性可以通过塑造表示几何结构来实现，而无需针对攻击进行专门训练
| 评论： | NeurIPS 2026；代码、配置和日志：此 https URL |
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用格式： | arXiv:2609.32602 [cs.LG] |
| （本版本的 arXiv:2609.32602v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.32602 通过 DataCite 获取 arXiv 发布的 DOI |
提交历史
来自：Gal Wertheizer [查看邮件]
[v1]
2026年9月26日 星期六 13:19:52 UTC（142 KB）
[v2]
2026年11月4日 星期三 16:58:49 UTC（146 KB）
来源：arXiv cs.AI · arxiv.org