跳到正文
arXiv cs.AI· Mostafa 'Neo' Mohsenvand·· 2 小时前精选AI 评分62

arXiv 论文 Attention at Absolute Zero 提出零温度高阶注意力层,在规模外推和组合任务上接近精确

Attention at Absolute Zero

AI 导读

论文提出一种状态建立在条目对上的高阶注意力层,以零温度读取证人得分,只传递比较计数的比特,仅从答案训练,针对软注意力在规模化时的权重分散、得分间隙未定和状态漂移三种失败方式。

推荐理由

论文给出零温度高阶注意力层在规模外推和组合任务上的具体数据,读者可比较软注意力失效的原因和可迁移设计。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:注意力机制对答案的候选支持(我们称之为见证者)进行评分,并按一定温度读取这些分数。我们构建了一种高阶注意力层,其状态存在于条目对上:对于一对 (a, b),每个第三条目 k 都是一个见证者,通过其两条边 (a, k) 和 (k, b) 进行评判。它以零温度读取见证者,保留最佳者及与之并列的数量,仅传递比较这些计数的比特,在每次循环中从输入和这些比特重建其状态对,并且仅从答案进行训练。每个设计选择都消除了软注意力在规模扩大时的一种失效方式:权重分散、学习到的分数之间未解决的差距,以及软状态的漂移。在最大检索任务中,对于比训练时大 1,000 倍的集合,它在全部十个随机种子上至少达到 99.95% 的正确率;而使用软计数训练的同一网络在 4,096 个条目时降至 42%。在无提示的 CLRS-30 上,该层的一种通用形式(一半通道以零温度读取、嵌入数字、携带状态)超越了已发表的、在部分任务上使用提示的最佳模型;在 12 个答案仅通过比较依赖数字的任务中,完整的冷层在其中 9 个任务的所有测试输入上均完全正确。基于是/否答案,它能在 500 个变量时精确判定 2-SAT 和二着色问题,并且正如我们的理论所预测的,不能判定奇偶性方程。在一个冻结的 7B 语言模型旁,它在仅用 16 条陈述训练后,能在 1,000 条陈述上精确推理家族关系,而单独的模型降至 44%;对权重的有限检查证明了在无环上下文及给定模型读取内容的条件下,每个块在每个规模上所学到的正确性。在 CLUTRR 上,给定图结构后,它在每篇包含五到十个关系的故事上全部正确,精确学会了全部 62 条规则;从文本出发,模型冻结、无手写规则、仅训练一个小型读入模块,它将一个开源 7B 模型从 33% 提升到 65%,高于我们找到的所有无手写规则的系统,仅低于前沿推理模型。
评论: 51 页,9 幅图,1 幅扩展数据图,4 张补充表。替代 v1 版本 "Attention Is Only as Good as Its Witnesses"。代码(Apache 2.0):此 https URL;演示:此 https URL;模型:此 https URL
学科: 机器学习 (cs.LG);人工智能 (cs.AI);神经与演化计算 (cs.NE)
引用方式: arXiv:2611.11937 [cs.LG]
  (本版本为 arXiv:2611.11937v2 [cs.LG])
  https://doi.org/10.48550/arXiv.2611.11937

arXiv-issued DOI 经由 DataCite

提交历史

来自:Mostafa 'Neo' Mohsenvand [查看邮件]
[v1] 2026年11月9日 星期一 06:08:10 UTC (1,792 KB)
[v2] 2026年11月17日 星期二 14:14:46 UTC (1,719 KB)

来源:arXiv cs.AI · arxiv.org