跳到正文
热点事件持续更新

研究者提出基于Rectified Flow的ReLF语言模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Baiyu Su、Runlong Liao、Lizhang Chen、Qiang Liu 提交论文介绍 Rectified Language Flow(ReLF),用 rectified flow 把噪声传输到 token 嵌入来生成文本,结合 Hellinger-SVD 固定嵌入、交叉熵自条件引导和正则化 reflow 等设计。 论文称,在 OpenWebText 上用 64 次函数求值,ReLF 在测试的三种模型规模下、相同多样性时生成困惑度均低于自回归基线;经两轮 reflow 后,16 次函数求值仍优于自回归基线,且 batch size 为 1 时生成 1024 token 序列速度快 15–19 倍。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    ReLF:基于 Rectified Flow 的连续态语言生成模型,生成质量超越自回归基线

    研究者提出 Rectified Language Flow(ReLF),用 rectified flow 把噪声传输到 token 嵌入来生成文本,结合 Hellinger-SVD 固定嵌入、交叉熵自条件引导和正则化 reflow 等设计。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。