dSpark：调度蒸馏加速扩散语言模型并行采样

Aidar Myrzakhan 与 Zhiqiang Shen 发布论文，提出基于调度蒸馏的 dSpark 框架：通过构建优先揭示能降低其他位置不确定性的 token 的解掩码调度，并用 KL 散度正则项将其蒸馏进模型，使扩散语言模型实现更快的并行采样。代码已开源。 论文称，在 GSM8K 基准上，该方法在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上相对各基线分别取得 10.12× 和 5.12× 的加速，同时保持更优的任务表现。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。