中科大团队论文揭示 LLM 滥用防护普遍依赖不可信输入的高风险漏洞
LLM Misuse Safeguards Rely on Untrusted Input: A Widespread, High-Risk Vulnerability
AI 导读
Pingyu Wu、Weiming Zhang、Nenghai Yu 的论文发现 LLM 滥用防护普遍依赖用户书写内容判断是否放行答案,攻击者伪造专业身份即可绕过。
推荐理由
论文指出滥用防护依赖不可信的用户输入,并给出覆盖 129 篇顶会论文的证据与补丁思路,为安全研究提供反思视角。
正文 · AI 翻译
摘要:大语言模型如今已在网络安全、生物学等领域为专业人士提供帮助,但同样的回答也会帮助攻击者。部署方依靠防滥用安全机制来阻止这类回答流向攻击者。我们发现这些安全机制存在一个共同的高危漏洞:它们根据用户所写的内容(包括用户声称的专业身份或目的)来决定是否发布回答,而任何人都可以写下这样的声明。模型厂商和安全公司的威胁报告显示,伪造专业身份或目的的攻击者已经在利用这一漏洞造成严重危害。该漏洞在最先进技术中也广泛存在:来自 12 个顶级会议最新几届的 129 篇论文中提出的每一种防御都存在此漏洞。安全机制研究研究对象搞错了:它把危害视为请求文本的属性,尽管同样的文本可能来自专业人士,也可能来自攻击者。因此,现有的安全机制基准无法揭示这一漏洞:一个安全机制在这些基准上得分很高,却仍可能向攻击者给出危险回答。由于漏洞在于用户所写的内容,任何对安全机制判断方式的改进都无法弥补它。在我们提出的补丁之下,大语言模型可以在不向任何仅声称自己是专业人士的人提供危险能力的前提下,继续为专业人士提供帮助。
| Comments: | 13 页,4 个表格。本作品已提交至 IEEE 可能发表。版权可能在不另行通知的情况下被转让,此后此版本可能不再可访问 |
| Subjects: | 密码学与安全 (cs.CR);人工智能 (cs.AI) |
| Cite as: | arXiv:2607.27951 [cs.CR] |
| (或 arXiv:2607.27951v2 [cs.CR] 为此版本) | |
| https://doi.org/10.48550/arXiv.2607.27951 通过 DataCite 提供 arXiv 发布的 DOI |
提交历史
来自:Pingyu Wu [查看邮件]
[v1]
2026 年 7 月 30 日 星期四 09:59:08 UTC(249 KB)
[v2]
2026 年 11 月 17 日 星期二 16:34:38 UTC(124 KB)
来源:arXiv cs.AI · arxiv.org