论文:旋转CoT隐状态方向可让直答超越思维链
热点事件持续更新
论文:旋转CoT隐状态方向可让直答超越思维链
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Houman Mehrafarin 与 Ioannis Konstas 在 arXiv 发布论文,提出通过分析思维链(CoT)隐状态找到指向正确答案的方向,并将直接提示最后一层隐状态向该方向旋转,使模型不生成思维链也能提升准确率。 在 25 个任务上,该方法使 LLaMA 3.1 8B 的平均准确率从 46% 提升至 85%(CoT 为 69%),Qwen 2.5 7B 从 52% 提升至 86%(CoT 为 77%),且只用约十分之一的 CoT token。
AI 根据报道生成 · 57 分钟前更新
最新进展11月20日 13:00
CoT 隐状态揭示任务求解方向:LLaMA 3.1 8B 准确率从 46% 提升至 85%报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AICoT 隐状态揭示任务求解方向:LLaMA 3.1 8B 准确率从 46% 提升至 85%
arXiv 一项研究通过分析 CoT 隐状态,发现直接提示的表示空间中存在可将模型导向正确答案的方向。在 25 个任务上,将直接提示最后一层隐状态向该方向旋转后,LLaMA 3.1 8B 平均准确率从 46% 提升至 85%(CoT 为 69%),Qwen 2.5 7B 从 52% 提升至 86%(CoT 为 77%),且仅用约十分之一的 CoT token。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。