Q Labs 发布零阶预训练方法 Dust，第三方复现存疑

Q Labs 实验室发布零阶优化方法 Dust，称其为首个在 Transformer 预训练上可与反向传播竞争的零阶方法。该方法在每层激活值上加逐 token 高斯噪声，用虚拟种群通过一次前向传播并行评估数千个体来估计梯度，不依赖反向传播。 目前结论存在分歧：论文实验最大仅到 243M 参数、20M token 训练预算，且 Q Labs 称 Dust 目前远比反向传播贵，需便宜几个数量级才谈得上替代；而 SOTAAZ Lab 的第三方复现显示其优势有限，更换更合适的优化器后反向传播明显领先。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。