Q Labs 发布零阶优化方法 Dust：不依赖反向传播预训练 Transformer

机器之心报道 Q Labs 实验室提出的零阶优化方法 Dust，称其为首个在 Transformer 预训练上可与反向传播竞争的零阶方法。该方法在每层激活值上加逐 token 高斯噪声，以虚拟种群一次前向传播并行评估数千个体来估计梯度；实验最大仅到 243M 参数、20M token，且 SOTAAZ Lab 第三方复现显示其优势有限，更换更合适优化器后反向传播明显领先。