SMT：通过模拟审核轨迹越狱函数调用 LLM 的黑盒攻击框架
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
AI 导读
研究者提出 SMT，一种针对函数调用 LLM 的黑盒越狱攻击框架，利用多轮模拟审核轨迹把对抗意图分散到执行路径中。在来自五个提供商的商业模型和两个安全基准上，SMT 取得最高的平均攻击成功率和 HarmScore，且查询次数接近最少，代码已开源，论文被 2027 IEEE S&P 接收。
推荐理由
论文揭示了提示词防御覆盖不到的函数调用环境漏洞，并给出多轮模拟审核轨迹攻击框架，对理解工具型 LLM 安全边界有直接参考价值。
正文 · AI 翻译
摘要：越狱攻击仍然是大语言模型（LLM）安全部署面临的关键威胁。尽管以往工作主要研究提示词层面的攻击与防御，我们表明这种以提示词为中心的范式忽视了有状态、函数调用环境中的结构性漏洞。在此类应用中，开发者定义的模式、结构化参数和不可信的工具输出被交织在同一个共享的模型上下文中。这种架构模糊了可信控制逻辑与不可信数据之间的边界，从而扩大了攻击面，使对抗意图得以分布在多轮执行路径中。我们通过 SMT 利用这一架构缺陷，SMT 是一个基于模拟审核轨迹的黑盒攻击框架。SMT 摒弃了纯提示词式的交互，构建了一条模拟合法审核审计工作流的多轮轨迹。在该轨迹中，一个伪造的审核框架以红队测试为借口诱导有害生成。随后的验证反馈将安全拒绝视为执行失败，促使进一步改进，逐步削弱模型的安全约束并最终触发有害输出。在来自五家不同提供商的知名商业 LLM 上、针对两个标准化安全基准的广泛实证评估表明，SMT 始终取得最高的平均攻击成功率和 HarmScore，同时所需查询次数接近最少，大幅超越现有基线。这些发现表明，仅靠提示词层面的净化从根本上不足以防御启用工具的 LLM 系统，并凸显了在模式、参数、工具输出和累积会话状态之间进行上下文感知验证的迫切需要。代码可在 此 https URL 获取。
| 评论： | 已被 2027 年 IEEE 安全与隐私研讨会（S&P）接收 |
| 学科： | 密码学与安全 (cs.CR)；人工智能 (cs.AI) |
| 引用方式： | arXiv:2607.00481 [cs.CR] |
| （本版本为 arXiv:2607.00481v2 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2607.00481 arXiv 发行的 DOI，经 DataCite |
提交历史
来自：Haobo Wang [查看邮件]
[v1]
2026年7月1日 星期三 06:08:07 UTC（1,150 KB）
[v2]
2026年11月4日 星期三 05:40:42 UTC（1,639 KB）
来源：arXiv cs.AI · arxiv.org