GRAFT:修复连续扩散语言模型缺失的采样接口
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
AI 导读
一项 arXiv 研究发现,ELF 等连续扩散语言模型因不做逐步离散采样,词汇长尾坍缩:最稀有词出现率仅有人类文本的 0.30x,且从 105M 到 652M 参数都无法改善。
来源:arXiv cs.AI · arxiv.org
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
一项 arXiv 研究发现,ELF 等连续扩散语言模型因不做逐步离散采样,词汇长尾坍缩:最稀有词出现率仅有人类文本的 0.30x,且从 105M 到 652M 参数都无法改善。
来源:arXiv cs.AI · arxiv.org