新论文用信息论分析思维链可监控性并提出防混淆训练目标

Usman Anwar 等人在 arXiv 发布论文，用信息论分析思维链（CoT）的可监控性：证明 CoT 与最终输出之间非零互信息是可监控性的必要条件但非充分条件，并区分出信息缺口与激发误差两类近似误差。 作者据此提出一种基于输出与 CoT 之间互信息的免标注训练目标，并与基于 oracle 的方法做了基准对比。作者称该目标在多个环境中可防止 CoT 混淆，即使在针对监控器训练的情况下依然有效，并能在奖励设定不完美时缓解 reward hacking。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。