跳到正文
arXiv cs.AI· Alex Lin Wang, Linus Yifeng Tang, Dami Choi, Neil Chowdhury·· 22 分钟前精选AI 评分69

研究提出 introspective oversight:训练第三方观察者角色监督模型不当行为

Training Language Models for Introspective Oversight

AI 导读

arXiv 论文提出 introspective oversight,为模型新增独立的第三人称观察者角色,只按回答与助手实际行为的核对结果训练,用于报告奖励破解、欺骗、谄媚等难从转录中察觉的行为。

推荐理由

论文给出可训练的内省监督方法及五项 held-out 评测的 AUROC 对比,可用于了解可验证自我报告的监督路径。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型日益表现出一些难以在对话记录中检测到的行为,例如奖励劫持、欺骗和谄媚。向助手追问其行为的做法并不可靠,因为模型通常并未接受过报告自身不当行为的训练。因此,监督方法通常需要查询外部模型。这些方法存在局限:外部对话记录监控只能作用于模型可见的输出,而激活解码器缺乏完整上下文且容易产生虚构。我们提出内省监督(introspective oversight),它在模型中训练一个新的角色来回答关于助手的任意问题,并奖励那些经过助手实际行为验证的答案。我们通过添加一个独立的第三人称观察者角色来实现这一点,该角色仅以准确性为目标进行训练,并与助手分开。在五项留出的监督评估中,基于 Qwen3.6-27B 训练的观察者获得了 0.907 的平均 AUROC,优于诚实性训练(0.864)、对话记录监控(0.828)和激活预言机(0.796)。我们进一步发现,训练观察者会使助手本身更容易被监控,当应用于微调后的助手时,所有基线方法的性能平均都有所提升。这些结果表明,训练模型回答关于自身的可验证问题,是监督非预期行为的一条可行途径。
评论: 31 页,13 幅图,8 张表
学科分类: 人工智能 (cs.AI)
引用方式: arXiv:2611.23365 [cs.AI]
  (或 arXiv:2611.23365v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23365

arXiv 通过 DataCite 签发的 DOI(注册中)

提交历史

来自:Neil Chowdhury [查看邮件]
[v1] 2026年11月17日 星期二 18:59:07 UTC(4,023 KB)

来源:arXiv cs.AI · arxiv.org