研究称小算力下只能解释AI效率提升的一小部分

Hans Gundlach 等研究者在 arXiv 发表论文，通过消融与缩放实验检验 2012 至 2023 年间 AI 语言模型预训练 FLOP 效率提升约 22000 倍的来源。他们发现，在小算力规模下，对这一时期关键创新的消融实验只能解释不到 10 倍的提升；加上未被纳入消融的其他创新（据其估计不到 10 倍），总计不到 100 倍。 团队还对 LSTM 与 Transformer 进行了缩放实验，发现两者在算力最优缩放律上的指数存在差异的证据。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。