系统评测十种预训练优化器：加速比宣称值低且随规模递减

Kaiyue Wen、David Hall、Tengyu Ma、Percy Liang 等发布系统性研究，在 0.1B-1.2B 参数的四个模型规模、1-8 倍 Chinchilla 最优数据比下，对十种深度学习优化器做了严格调参后的公平比较。 研究发现，许多优化器相对充分调优的 AdamW 基线的实际加速低于其宣称值，且随模型规模增大而下降。最快的 Muon、Soap 等矩阵预条件优化器，在 0.1B 模型上相对 AdamW 加速约 1.4 倍，到 1.2B 模型仅剩约 1.1 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。