Looped Uniform Diffusion Language Models：循环机制提升均匀扩散语言模型训练效率

一项研究将选择性循环机制引入均匀扩散语言模型（UDLM），在不改变训练目标与采样器的情况下显著提升训练效率。Looped UDLM 以最多 2.8 倍（OpenWebText）和 3.3 倍（FineWeb-Edu）更少的训练 FLOPs 达到非循环模型在约 0.5 万亿 token 上训练的验证 NLL；相同 NFE 预算下生成困惑度最多降低 9.8%。