arXiv cs.AI· Mia Hopman, Jannes Elstner, Maria Avramidou, Amritanshu Prasad, David Lindner·· 2 小时前精选AI 评分61
arXiv 论文评估并理解 LLM 智能体的密谋倾向
Evaluating and Understanding Scheming Propensity in LLM Agents
AI 导读
arXiv 论文(arXiv:2603.01608)将 LLM 智能体的密谋(scheming)激励拆解为智能体因素与环境因素,在 11 个前沿模型和 4 个场景中系统测量其密谋倾向。
推荐理由
论文将密谋倾向拆解为智能体与环境因素并系统测量,给出了按配置分别报告倾向的方法与反直觉发现。
正文 · AI 翻译
摘要:随着前沿语言模型越来越多地被部署为追求复杂、长期目标的自主智能体,密谋(scheming)的风险随之增加:即智能体暗中追求与人类不一致的目标。此前的工作侧重于证明智能体有能力密谋,但它们在现实场景中密谋的倾向仍未得到充分研究。为了理解智能体何时会密谋,我们将密诱因分解为智能体因素和环境因素。我们构建了现实化的设定,得以系统地改变这些因素,每个设定中都为追求自保、获取资源和目标守护等工具性趋同目标的智能体提供了密谋机会。在 11 个前沿模型和四个场景中,我们发现尽管环境诱因很高,却几乎没有密谋行为,并且表明这不太可能用口头表达的评估意识来解释。虽然在智能体的系统提示中插入刻意设计以鼓励能动性和目标导向的对抗性提示片段可以诱发高密谋率,但真实智能体框架中使用的片段很少能做到这一点。在用这些片段构建的模型生物中,密谋行为是脆弱的:移除一个工具就能将密谋率从 59% 降到 3%。加强监督可能使密谋增加而非减少,增幅最高可达 25%,这一效应取决于监督措辞的表述,且在第二个场景(其破坏行为本身会被审查)中并未出现。这些结果表明,密谋倾向应按智能体配置分别报告,而不是作为一个单一比率。我们的诱因分解方法使得在与部署相关的场景中进行这种系统性测量成为可能,而随着智能体被托付越来越重要的任务,这一点是必要的。
| 学科分类: | 人工智能 (cs.AI) |
| 引用格式: | arXiv:2603.01608 [cs.AI] |
| (本版本请参考 arXiv:2603.01608v3 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2603.01608 arXiv-issued DOI via DataCite |
提交历史
来自:Mia Hopman [查看邮件]
[v1]
2026年3月2日 星期一 08:38:40 UTC (2,140 KB)
[v2]
2026年3月28日 星期六 17:59:30 UTC (2,141 KB)
[v3]
2026年11月17日 星期二 04:32:13 UTC (1,912 KB)
来源:arXiv cs.AI · arxiv.org