跳到正文
热点事件持续更新

循环 Transformer 偏好探测研究 v3 更正分析

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Jan Kirin 发布论文 v3,重写并更正了关于循环 Transformer 内部状态能否识别人类偏好的探针分析。结论是能识别但效果微弱:在每 token 运行四层循环的 Ouro-2.6B-Thinking 模型上,用 Anthropic HH-RLHF 数据测试,线性探针选中偏好回复的准确率为 61.5%,分别给单条回复打分的小型非线性网络为 64.9%,v1 版本训练的评估器在测试集上为 64.7%。 论文称这些数字在三项对照下保持稳定:对每一对回复按两种顺序分别打分、按回复对切分数据,以及探针仅使用对话末尾两条回复有差异的部分。

AI 根据报道生成 · 38 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    从 Looped Transformer 内部状态读取人类偏好:线性探针仅 61.5% 准确率

    一项研究在 Ouro-2.6B-Thinking(每 token 运行四层循环)模型上,用 Anthropic HH-RLHF 数据测试探针能否从隐藏状态识别人类偏好回复。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。