理论分析掩码扩散模型缓解逆转诅咒原因

Moongyu Jeon 等研究者在一篇 NeurIPS 2026 论文中给出理论解释：自回归语言模型存在逆转诅咒（难以反转已学的 token 对），而掩码扩散语言模型（MDM）受影响较弱。论文证明，这种缓解来自前向与反向位置条件分布之间的参数级耦合——共享的 Transformer 参数存储 token 对证据，相对位置编码只负责路由注意力而不改变检索到的证据。 研究在单层 MDM 中证明，前向掩码训练能强化可复用证据并降低反向方向的损失；LLaDA 和 Dream 的实验验证了这一理论结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。