循环模型隐藏状态探针可在答案前预测推理正误
热点事件持续更新
循环模型隐藏状态探针可在答案前预测推理正误
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Jan Kirin 在 arXiv 论文中研究能否在 2.6B 参数循环模型 Ouro-RLTT 推理过程中预测答案正误。仅读前 48 个 token 的隐藏状态,探针在合成逻辑任务上达到 AUROC 0.758,而 token 置信度仅 0.515;同一问题的两个答案中,探针 74% 的情况给正确者更高分。 但该信号也有局限:探针分数可预测任务难度,且未能帮助模型生成更好答案;在 GSM8K 和第二个检查点上这一测试尚未有结论。此外,一旦多个样本完成,一个知道各样本一致性的基线方法就使该探针无可测量的额外增益。
AI 根据报道生成 · 35 分钟前更新
最新进展11月20日 13:00
循环语言模型的操作性原内省:在答案出来前读取正确性信号报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI循环语言模型的操作性原内省:在答案出来前读取正确性信号
Jan Kirin 在 arXiv 论文中研究能否在 2.6B 参数循环模型 Ouro-RLTT 推理过程中预测答案正误。仅读前 48 个 token 的隐藏状态,探针在合成逻辑任务上达到 AUROC 0.758,而 token 置信度仅 0.515;同一问题的两个答案中,探针 74% 的情况给正确者更高分。但该信号对难度可预测,且未能帮助模型生成更好答案,在 GSM8K 和第二检查点上结果未定。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。