GRAFT：修复连续扩散语言模型的稀有词缺失

Haoning Yang 与 Lili Pan 提出无需训练的方法 GRAFT，修复连续扩散语言模型的词汇长尾坍缩问题：在模型尚未确定时先保住会被平均操作丢弃的稀有词，再固定这些承诺从头重新生成序列。 研究发现，ELF 等连续扩散语言模型因不做逐步离散采样，生成文本中最稀有词的出现率仅为人人类文本的 0.30 倍，且从 105M 到 652M 参数都无法改善。GRAFT 将稀有词比例从人类文本的 0.42–0.77 倍恢复至 0.82–1.10 倍，相对提升 34–109%，该方法在三个规模的 ELF 以及另一个独立的连续扩散模型 LangFlow 上均有效。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。