ReMAS:基于强化学习的多智能体系统黑盒红队测试框架
Black-Box Red-Teaming of Multi-Agent Systems via Reinforcement Learning
AI 导读
研究者提出 ReMAS,首个面向多智能体系统(MAS)的强化学习红队测试框架,通过微调攻击 LLM 生成对抗性提示词以提取系统提示词。框架分两步:重写阶段优化基础攻击提示,模板生成阶段构造可触发特定子智能体的攻击模板。实验显示该方法相比现有黑盒攻击大幅提升攻击成功率,并可跨不同后端 LLM 和 MAS 结构迁移,凸显多智能体系统的安全防御需求。
来源:arXiv cs.AI · arxiv.org