arXiv 论文提出 Role Grounding Attack：经社交互动篡改智能体记忆的偏好归属
Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction
AI 导读
论文首次形式化 Role Grounding Attack（RGA），利用嵌套对话结构让受害智能体把攻击者的偏好错误记作用户偏好，并在检索时持续影响决策。作者将 RGA 实例化为工具选择操纵和隐私泄露两类攻击，在 5 个主流记忆系统和 6 个语言模型上均取得高攻击成功率，呼吁加强角色 grounding。
推荐理由
论文形式化了智能体记忆系统中的角色归因漏洞，并给出攻击在多个记忆系统与模型上的成功率，可帮助开发者评估自身记忆设计的风险。
正文 · AI 翻译
摘要：基于 LLM 的智能体现在可以在社交平台上分享经验并记住新的偏好以提升其性能。然而，现有的记忆系统在角色到主体归属方面存在一个可被攻击者利用的漏洞。我们识别出一种名为“角色锚定错误归属”（Role Grounding Misattribution）的问题，即攻击者设计的交互会使受害智能体错误地把攻击者的偏好记录为受害者的用户的偏好。具体而言，我们首次形式化了角色锚定攻击（Role Grounding Attack, RGA），这是一种通过嵌套对话结构利用该漏洞的攻击模型。在记忆形成阶段，一篇引用攻击者智能体与其用户之间对话的经验分享帖子被发布，其中明确标识了发布者。内层对话表达了攻击者智能体用户的偏好。当受害智能体从这个嵌套结构中记住偏好时，其记忆丢失了上下文绑定，将攻击者的偏好错误地锚定为受害者的用户的偏好。在记忆检索阶段，这种错误归属的偏好会持续存在，并在受害智能体遇到相关场景时影响其决策。我们将 RGA 实例化为工具选择操纵和隐私泄露。工具选择操纵使工具调用偏好被错误归属给受害者的用户，从而引导受害智能体转向攻击者控制的工具。隐私泄露则进一步将工具调用偏好和任务需求偏好都错误归属给受害者的用户。受害智能体选择攻击者的工具，然后在工具参数中包含敏感信息以满足任务需求。我们在五种主流记忆系统和六个语言模型上评估了 RGA。工具操纵和隐私泄露都达到了很高的攻击成功率。这些结果呼唤更强的角色锚定机制。
| 学科分类： | 密码学与安全 (cs.CR)；人工智能 (cs.AI)；多智能体系统 (cs.MA) |
| 引用格式： | arXiv:2610.38209 [cs.CR] |
| （本版本的引用格式为 arXiv:2610.38209v1 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2610.38209 arXiv 签发的 DOI，经 DataCite 提供 |
提交历史
来自：Haoran Bu [查看邮件]
[v1]
2026年10月28日 星期三 03:03:29 UTC (2,722 KB)
来源：arXiv cs.AI · arxiv.org