跳到正文
热点事件持续更新

循环模型隐藏状态探针可在答案前预测推理正误

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Jan Kirin 在 arXiv 论文中研究能否在 2.6B 参数循环模型 Ouro-RLTT 推理过程中预测答案正误。仅读前 48 个 token 的隐藏状态,探针在合成逻辑任务上达到 AUROC 0.758,而 token 置信度仅 0.515;同一问题的两个答案中,探针 74% 的情况给正确者更高分。 但该信号也有局限:探针分数可预测任务难度,且未能帮助模型生成更好答案;在 GSM8K 和第二个检查点上这一测试尚未有结论。此外,一旦多个样本完成,一个知道各样本一致性的基线方法就使该探针无可测量的额外增益。

AI 根据报道生成 · 35 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    循环语言模型的操作性原内省:在答案出来前读取正确性信号

    Jan Kirin 在 arXiv 论文中研究能否在 2.6B 参数循环模型 Ouro-RLTT 推理过程中预测答案正误。仅读前 48 个 token 的隐藏状态,探针在合成逻辑任务上达到 AUROC 0.758,而 token 置信度仅 0.515;同一问题的两个答案中,探针 74% 的情况给正确者更高分。但该信号对难度可预测,且未能帮助模型生成更好答案,在 GSM8K 和第二检查点上结果未定。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。