arXiv cs.AI· Keshav Shenoy, Anthony Zang, Eric Gan, Jacqueline Tay, Amy Ngo, Sebastian Prasanna, Julian Stastny, Vivek Hebbar·· 46 分钟前精选AI 评分63
arXiv 论文:审计者难以从 AI 安全研究端到端记录中识别破坏行为
Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research
AI 导读
arXiv 论文(arXiv:2611.21832)通过红蓝对抗实验研究 AI 安全研究中的破坏检测,由人类专家充当破坏者开展实验,审计者判断哪些被破坏及如何破坏。
推荐理由
论文用红蓝对抗实验量化了当前审计方法识别研究破坏的能力,给出了人类与前沿模型的具体检出数据,可用于安全评测设计参考。
正文 · AI 翻译
摘要:随着 AI 系统越来越多地被用于自动化 AI 研发,未对齐的系统可能会破坏旨在提升模型安全性与对齐性的研究。为对防御此类破坏行为的手段进行压力测试,我们让一名人类专家作为“破坏者”的替代,对 AI 安全研究进行破坏。我们开展了一场红队/蓝队博弈:一名人类研究员从零开始进行 AI 安全实验,审计员则试图判断哪些实验被破坏以及破坏方式。在可以查看完整研究记录并运行实验的条件下,人类审计员大多无法区分被破坏的研究与正常研究:他们取得的 AUROC 为 0.59,与随机水平相比并无显著优势,且仅在 17% 的案例中完整识别出具体的破坏方式。尽管不允许运行实验,最好的前沿模型的表现仍优于人类审计员(Fable 5.1:AUROC 0.73,32% 完整识别率),在噪声范围内,较弱的模型表现相当。当破坏者可以自行选择攻击哪些实验,而不是必须破坏给定的每一个问题时,破坏识别率进一步下降。我们的结果表明,利用当前的审计方法很难检测出专家级智能体所进行的研究破坏,并为研究破坏行为的研究提供了一个新的场景。
| 学科分类: | 人工智能 (cs.AI) |
| 引用格式: | arXiv:2611.21832 [cs.AI] |
| (本版本的引用格式为 arXiv:2611.21832v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.21832 arXiv 生成的 DOI,经 DataCite 提供(注册中) |
提交历史
来自:Keshav Shenoy [查看邮件]
[v1]
2026年11月16日 星期一 19:52:38 UTC (669 KB)
来源:arXiv cs.AI · arxiv.org