arXiv cs.AI· Hans Gundlach, Alex Fogelson, Jayson Lynch, Ana Trisovic, Jonathan Rosenfeld, Anmol Sandhu, Neil Thompson·· 2 小时前精选AI 评分67
arXiv 论文从语言模型预训练追溯 AI 算法进步的来源
On the Origin of Algorithmic Progress in AI: Evidence from Language Model Pre-Training
AI 导读
研究团队通过消融实验检验 2012 至 2023 年间 AI 预训练 FLOP 效率提升约 22000 倍的来源，发现在小算力规模下只能解释不到 10 倍，加上文献中的其他创新总计不到 100 倍。
推荐理由
论文用消融和缩放实验质疑既有算法进步估算，指出效率收益依赖算力规模，对评估 AI 进展有参考价值。
正文 · AI 翻译
摘要：据估计，2012 年至 2023 年间，算法使 AI 预训练的 FLOP 效率提升了 22,000 倍（Ho et al., 2024）。我们对这一时期的关键创新进行了消融实验，在小规模算力下只能解释其中不到 10 倍的增益。通过对更广泛文献的调研，我们估计消融实验未涵盖的其他创新带来的增益同样不到 10 倍，因此在低算力情形下总增益不到 100 倍。这促使我们开展规模扩展实验，实验证据表明这种效率差距可以用随算力规模而变化效率的算法来解释。特别是，我们对 LSTM 和 Transformer 进行了规模扩展实验，发现两者在算力最优扩展律上的指数存在差异的证据，而许多其他创新的扩展差异则很小。这些实验表明，与通常的假设相反，算法的效率增益与算力规模密切相关。利用实验性的规模外推和文献估计，我们可以解释同一时期的大部分效率增益。我们的结果表明，在较小训练算力水平上的算法进步远比之前假设的慢，而且算法效率的度量高度依赖于参考点。
| 评论： | 已被 NeurIPS 2026 接收（终稿版本） |
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| MSC 分类： | 68T07, 68Q25 |
| ACM 分类： | I.2.6 |
| 引用格式： | arXiv:2511.21622 [cs.LG] |
| （本版本的引用为 arXiv:2511.21622v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2511.21622 arXiv 通过 DataCite 发放的 DOI |
提交历史
来自：Hans Gundlach [查看邮件]
[v1]
2025 年 11 月 26 日周三 17:46:31 UTC (5,021 KB)
[v2]
2026 年 11 月 10 日周二 10:05:28 UTC (5,170 KB)
来源：arXiv cs.AI · arxiv.org