跳到正文
arXiv cs.AI· Haoning Yang, Lili Pan·· 2 小时前AI 评分49

GRAFT:修复连续扩散语言模型缺失的采样接口

GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models

AI 导读

一项 arXiv 研究发现,ELF 等连续扩散语言模型因不做逐步离散采样,词汇长尾坍缩:最稀有词出现率仅有人类文本的 0.30x,且从 105M 到 652M 参数都无法改善。

来源:arXiv cs.AI · arxiv.org