掩码扩散模型为何能缓解反转诅咒：一项理论分析

自回归语言模型存在反转诅咒，而掩码扩散语言模型（MDM）受此影响较弱，一项 NeurIPS 2026 论文给出了理论解释。研究证明，缓解来自前向与反向位置条件分布间的参数级耦合：共享 Transformer 参数存储 token 对证据，相对位置编码路由注意力而不改变检索的证据。单层 MDM 中证明前向掩码训练可强化可复用证据并降低反向损失，LLaDA/Dream 大规模实验验证了这一点。