RePlaid：连续扩散语言模型的首个缩放律

Zhihan Yang 等研究者对连续扩散语言模型 Plaid 的架构进行对齐，构建出 RePlaid，并建立了首个可与离散扩散模型相媲美的连续扩散语言模型缩放律。据论文报告，RePlaid 与自回归模型的算力差距仅约 20 倍；以更少的参数优于离散扩散模型 Duo，并在过训练区间超过 MDLM。 在 OpenWebText 上，RePlaid 取得连续扩散语言模型中最优的 PPL 上界 22.1，并表现出更好的生成质量。这些结果表明连续扩散在语言建模上有望媲美离散扩散。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。