扩散语言模型的习得式解码策略研究：何为好的 unmasking 策略
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
AI 导读
一项受控研究系统考察了掩码扩散语言模型中的习得式 unmasking 策略，分析教师标注、策略输入与容量对速度-精度权衡的影响。研究发现低 NFE 下“匹配最终输出”的标注过于宽松，约 10% 的 NFE 降幅即可抵消最高 7.5M 参数策略的开销。