研究重估扩散语言模型预训练算力差距，16x 可低至 3.0x

arXiv 论文（arXiv:2610.17590）的 Guanghan Wang 等研究者重估扩散语言模型（DLM）相对自回归语言模型（ARM）的预训练算力差距，称广为引用的 16x 数字因使用 ELBO 评分和全序列 decoder-only 训练而被高估。该研究涵盖十个模型变体、约 1700 个模型，结论是 DLM 预训练成本远低于此前认知。 按论文称，改用精确似然评分可将倍数降至 12.8x；再用块扩散训练和 encoder-decoder 架构，在块大小 32 时降至 7.8x；块大小 8 和 4 时进一步降至 4.6x 和 3.0x。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。