Semantic Overlays 论文提出用残差流标注缓解提示注入
Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
AI 导读
论文提出 Semantic Overlays，即训练的小型适配器，在冻结模型的残差流上为指定 token 区间打标注，让模型把被标注为不可执行的注入指令当作惰性内容。
推荐理由
论文提出用残差流标注防御提示注入，给出与主流防御的对比数字和已知防御者之外攻击的泛化结果，可供安全方向读者参考。
正文 · AI 翻译
摘要：语言模型只能看到词元。但运行框架知道得更多：哪些词元区间是用户文本，哪些是工具输出，哪些来自网页或外部文档等不可信来源。要把这些知识传递给模型，框架必须将其以纯文本形式传输。提示注入正是利用了这一点：以恰当格式植入的指令可以说服模型相信它们来自用户或系统。我们提出语义覆盖层（Semantic Overlays），这是一种小型训练适配器，可在选定的词元区间上编辑冻结模型的残差流。任何输入文本都无法创建或移除标记，尽管模型对标记的响应是根据输入所能影响的状态计算出来的。当服务栈用经过训练、含义为“不要执行该区间内指令”的覆盖层来标记检索到的文本时，模型会将注入的指令视为惰性内容。面对在不知晓防御机制的情况下编写的攻击，它达到了已发表最佳防御方案的攻击率水平：在修正后的评分器下，SEP 分离度从 24.3% 提升至 98.8%；AlpacaFarm 攻击成功率从 99.0% 降至 0.5%；AgentDojo 从 12.8% 降至 0%。在相同数据上微调模型权重达到了类似的分离度，但保留了 SEP 效用的 64-80%，而覆盖层为 93%。在 TensorTrust 劫持任务上——其攻击与我们的训练数据毫无相似之处——它在 Llama-3.1-8B 上仅放行 4.4% 的劫持，而同一基础模型上 Meta-SecAlign 放行 43%。掌握权重的攻击者表现更好：GCG 在 72% 的样本上成功，而仅对覆盖层进行对抗训练后降至 14%。覆盖层还很灵活：模型在堆叠配置中能忠实读取它们的位置；当覆盖层告知模型某段非 Python 代码是 Python 并要求复制时，模型会将其重写为 Python；覆盖层还可以携带以区间为界的指令。我们还修正了两个提示注入基准和一个评估框架中的缺陷。
| 评论： | 21 页，4 幅图，13 张表。交互式演示：此 https URL。代码及已发布的适配器：此 https URL |
| 学科分类： | 人工智能 (cs.AI)；计算与语言 (cs.CL)；密码学与安全 (cs.CR)；机器学习 (cs.LG) |
| 引用格式： | arXiv:2608.23873 [cs.AI] |
| （本版本为 arXiv:2608.23873v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.23873 arXiv 通过 DataCite 签发的 DOI |
提交历史
来自：Joshua Penman [查看邮件]
[v1]
2026年8月24日 星期一 22:26:58 UTC (114 KB)
[v2]
2026年8月28日 星期五 09:49:45 UTC (118 KB)
[v3]
2026年9月3日 星期四 22:46:27 UTC (117 KB)
[v4]
2026年11月11日 星期三 04:07:19 UTC (161 KB)
来源：arXiv cs.AI · arxiv.org