Haoyu Hu 等提出 DUET 优化 RLVR 训练 token 预算分配

Haoyu Hu 等在 arXiv 论文中提出 DUET，一种叠加在 GRPO 之上的双重 token 预算控制方法，用于可验证奖励强化学习（RLVR）训练。该方法通过轻量级 rollout 前代理指标决定每个提示词分配的 rollout 数量，并用标记门控中止规则决定停止时机，从而在提示词与 rollout 两个维度分配 token 预算。 论文称，仅使用 50% 的 token 预算，DUET 的表现仍优于所有在全预算下的基线方法，相对全预算 GRPO 实现最高 2.51 倍加速。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。