研究称等算力下GRPO密集过程奖励不敌标准方法

Weicong Chen 等研究者在 arXiv 发布论文，提出等算力比较协议，结论是在其设定下 GRPO 中的稠密过程奖励在同等计算开销下不敌标准 GRPO。研究涵盖六个模型共 1,668 次运行。以 Qwen2.5-1.5B 为例，Monte-Carlo 奖励虽在单次更新上优于标准 GRPO，但在同等 token 下低 14.3 个百分点、同等训练时长下低 7.8 个百分点；四种稠密奖励变体均未超过 GRPO。 研究者称其设定的低效主因是：仅续写采样一项就消耗了全部生成 token 的 91%。他们还提出一条简单规则——候选提示被预测失败的概率大于成功——在六项预注册测试中的五项预测了稠密奖励失败出现的位置。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。