研究称Transformer算术学习顺序反直觉呈碎裂组合性
热点事件持续更新
研究称Transformer算术学习顺序反直觉呈碎裂组合性
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Xingyu Zhao 等研究者在 arXiv 论文《Shattered Compositionality》中发现：Transformer 在合成算术任务上习得技能的顺序常是反向或并行，而非人类式的序列规则，作者称之为“碎裂组合性”。 研究认为，这种学习动态由与训练数据的相关性匹配塑造，而非因果或程序性组合，导致部分习得的技能相互竞争，产生混合错误，并在分布偏移下更脆弱。作者称这种定性行为在现代大语言模型中同样存在，且单纯的模型扩展或 scratchpad 监督无法缓解。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 13:00
研究揭示 Transformer 算术学习的“破碎组合性”反直觉规律报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AI研究揭示 Transformer 算术学习的“破碎组合性”反直觉规律
一项 arXiv 研究在合成算术任务上训练 Transformer，发现其习得技能的顺序是反向或并行的，而非人类式的序列规则，作者称之为“破碎组合性”。研究认为，学习动态由与训练数据的相关性匹配塑造，而非因果或程序性组合，这导致部分习得的技能相互竞争，产生混合错误并在分布偏移下更脆弱。这种定性行为在现代 LLM 中同样存在，且无法通过单纯的模型扩展或 scratchpad 监督缓解。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。