跳到正文
热点事件持续更新

论文:旋转CoT隐状态方向可让直答超越思维链

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Houman Mehrafarin 与 Ioannis Konstas 在 arXiv 发布论文,提出通过分析思维链(CoT)隐状态找到指向正确答案的方向,并将直接提示最后一层隐状态向该方向旋转,使模型不生成思维链也能提升准确率。 在 25 个任务上,该方法使 LLaMA 3.1 8B 的平均准确率从 46% 提升至 85%(CoT 为 69%),Qwen 2.5 7B 从 52% 提升至 86%(CoT 为 77%),且只用约十分之一的 CoT token。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    CoT 隐状态揭示任务求解方向:LLaMA 3.1 8B 准确率从 46% 提升至 85%

    arXiv 一项研究通过分析 CoT 隐状态,发现直接提示的表示空间中存在可将模型导向正确答案的方向。在 25 个任务上,将直接提示最后一层隐状态向该方向旋转后,LLaMA 3.1 8B 平均准确率从 46% 提升至 85%(CoT 为 69%),Qwen 2.5 7B 从 52% 提升至 86%(CoT 为 77%),且仅用约十分之一的 CoT token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。