研究者提出基于Rectified Flow的ReLF语言模型
热点事件持续更新
研究者提出基于Rectified Flow的ReLF语言模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Baiyu Su、Runlong Liao、Lizhang Chen、Qiang Liu 提交论文介绍 Rectified Language Flow(ReLF),用 rectified flow 把噪声传输到 token 嵌入来生成文本,结合 Hellinger-SVD 固定嵌入、交叉熵自条件引导和正则化 reflow 等设计。 论文称,在 OpenWebText 上用 64 次函数求值,ReLF 在测试的三种模型规模下、相同多样性时生成困惑度均低于自回归基线;经两轮 reflow 后,16 次函数求值仍优于自回归基线,且 batch size 为 1 时生成 1024 token 序列速度快 15–19 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
ReLF:基于 Rectified Flow 的连续态语言生成模型,生成质量超越自回归基线报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIReLF:基于 Rectified Flow 的连续态语言生成模型,生成质量超越自回归基线
研究者提出 Rectified Language Flow(ReLF),用 rectified flow 把噪声传输到 token 嵌入来生成文本,结合 Hellinger-SVD 固定嵌入、交叉熵自条件引导和正则化 reflow 等设计。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。