跳到正文
热点事件持续更新

论文提出用MoE专家路由做过程监督:RoCo-Rethink与RoCo-PRM

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Guanzhi Deng 等人在 arXiv 论文(arXiv:2610.29498)中提出:MoE 模型的专家路由统计可作为过程奖励模型(PRM)的内在过程置信信号,其效果与传统基于输出 logit 的置信度相当,即一个强 MoE 模型即可胜任过程监督。 作者结合总体路由质量、头部路由质量与步内路由变化构建路由置信度,并提出两项应用:RoCo-Rethink 识别置信度最低的推理步并选择性重生成后续轨迹;RoCo-PRM 用强 MoE 自动为推理轨迹标注基于路由的步骤分数,再蒸馏为独立的 PRM。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.AI
    一个强 MoE 模型即可胜任过程监督:专家路由天然提供推理过程信号

    arXiv 论文提出利用 MoE 模型的专家路由统计作为过程奖励模型(PRM)的内在过程置信信号,与传统的输出 logit 置信度相当。作者结合总体路由质量、头部路由质量与步内路由变化构建路由置信度,并提出 RoCo-Rethink(识别最低置信推理步并选择性重生成后续轨迹)与 RoCo-PRM(用强 MoE 自动标注推理轨迹并蒸馏为独立 PRM)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。