跳到正文
热点事件持续更新

NgramRL:用rollout历史的N-gram投机解码加速RL后训练

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Nilesh Prasad Pandey 等研究者在 arXiv 发布论文,提出 NgramRL 方法:利用同一提示词近期 rollout 历史构建逐提示 n-gram 草稿器,以投机解码加速大语言模型 RL 后训练的结构化生成,无需辅助模型、草稿训练或常驻 GPU 状态。 论文称,在两个模型家族和三种推理及结构化生成工作负载上,热缓存情形下 NgramRL 每次目标模型前向可提交 3.60–7.77 个 token,最高比 SuffixDecoding 多 1.99 倍、比 prompt-lookup decoding 多 7.0 倍。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.AI
    NgramRL:通过感知 rollout 的 N-gram 投机解码加速结构化生成的 RL 后训练

    NgramRL 提出用同一提示词的近期 rollout 历史构建逐提示 n-gram 草稿器,无需辅助模型、草稿训练或常驻 GPU 状态,加速大语言模型的 RL 后训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。