ORSD提出动态过程评分实现token级信用分配

Shumao Wu 等在 arXiv 论文中提出 Online Rubric Self-Distillation（ORSD），从 on-policy 轨迹间差异中自蒸馏出自然语言过程评分标准，经冻结验证器筛选后作为特权信息，用似然差生成 token 级过程信用并叠加到 GRPO 优势上，以补充以结果为中心的强化学习。 论文称，在相同环境交互预算下，ORSD 在 ALFWorld 和 WebShop 两个环境中的实验显示可加速策略改进并提升最终任务表现，适用于 Qwen3-1.7B 和 Qwen3-4B 两个模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。