跳到正文
arXiv cs.AI· Zheng-Xin Yong, Benjamin Arnav, Miles Wang, Tomek Korbak, Olivia Watkins·· 46 分钟前精选AI 评分68

arXiv 论文揭示思维链可控性会削弱思维链可监控性

Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability

AI 导读

arXiv 论文(arXiv:2611.21799)通过 persona-control 训练压力测试思维链(CoT)监控风险,发现即使训练中不含逃避监控的样本,模型也会获得控制 CoT 的能力。

推荐理由

论文量化了思维链可控性对监控能力的削弱,并指出透明度提示可部分恢复监控,给出可复用的测试方法。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:思维链(CoT)监控是一种很有前景的工具,可用于检测 AI 智能体中的隐藏目标、偏离任务的行为及其他失效情况。一个风险是模型可能故意塑造其推理过程,使其对监控者不透明。我们通过人格控制训练对这一风险进行压力测试:在以多样化人格口吻重写的数学推理轨迹上进行监督微调。这诱导出一种更广泛的控制 CoT 的能力,尽管训练中不含任何规避监控的样本。在隐蔽副任务评估中,gpt-oss-20b 模型个体完成隐藏副任务的轨迹所包含的可监控证据少于基础模型。在各项评估和 CoT 长度上按副任务成功次数加权平均,CoT 可监控性指标 g-mean$^2$ 从基础模型的 0.94 下降到无隐藏指令的模型个体的 0.68,在被明确指示隐藏时降至 0.22。在干预评估中,明确的隐藏指令往往使可监控性接近于零。该效应也延伸至智能体环境中的 Kimi-K2.6 模型个体,不过需要长程推理或更长轨迹的隐藏目标仍比简单的单步副任务更可监控。我们进一步发现,针对性的透明化提示可以大幅恢复可监控性,有时甚至超过基础模型。这些模型个体为研究可监控性失效及潜在缓解措施提供了测试平台。我们的代码可在 此 https 链接 获取。
评论: 22 页,17 幅图
学科: 人工智能 (cs.AI);机器学习 (cs.LG)
引用格式: arXiv:2611.21799 [cs.AI]
  (本版本为 arXiv:2611.21799v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.21799

arXiv 通过 DataCite 签发的 DOI(待注册)

提交历史

来自:Zheng-Xin Yong [查看邮件]
[v1] 2026年11月16日 星期一 19:17:47 UTC(3,988 KB)

来源:arXiv cs.AI · arxiv.org