研究数字表示影响Transformer算术泛化延迟
热点事件持续更新
研究数字表示影响Transformer算术泛化延迟
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Laura Gomezjurado Gonzalez 发表论文（arXiv:2604.13082，已被 NeurIPS 2026 可解释性 Workshop 接收），研究 Transformer 在一步 Collatz 预测上的 grokking 现象，发现泛化的漫长延迟只在训练集包含较少不同整数时出现。 论文还发现：数值进制决定所需训练整数数量——当进位结构使每个输出位仅依赖少数相邻输入位时，所需训练整数可减少数倍，且该顺序可在训练前预测。线性探针实验表明，探针高准确率不能可靠证明模型真正学会计算相应特征。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
arXiv 论文解析：为何大语言模型的算术泛化存在漫长延迟报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AIarXiv 论文解析：为何大语言模型的算术泛化存在漫长延迟
一项 NeurIPS 2026 可解释性 Workshop 论文研究 Transformer 在一步 Collatz 预测上的 grokking 现象，发现泛化的漫长延迟只在训练集包含较少不同整数时出现。数值进制决定所需训练整数数量：当进位结构使每个输出位仅依赖少数相邻输入位时，所需训练整数可减少数倍，且该顺序可在训练前预测。线性探针实验还表明，探针高准确率不能可靠证明模型真正学会计算相应特征。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。