arXiv论文提出vOPD：用控制变量基线稳定在线蒸馏
热点事件持续更新
arXiv论文提出vOPD：用控制变量基线稳定在线蒸馏
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Minjae Oh 等作者在 arXiv 论文中提出 vOPD，将在线蒸馏（OPD）视为策略梯度强化学习，并引入控制变量基线以降低单样本估计的高梯度方差。该基线有闭式解：学生与教师之间的每 token 负反向 KL 散度，可由现有前向传播直接得到，无需额外 critic 或推理。 作者称，在数学、科学和指令遵循基准上，vOPD 持续优于基础 OPD，并匹配开销最大的全词表方法；top-k 近似还能进一步降低成本且不损性能。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
vOPD：用控制变量基线稳定在线蒸馏的 KL 方法报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AIvOPD：用控制变量基线稳定在线蒸馏的 KL 方法
arXiv 论文提出 vOPD，将在线蒸馏（OPD）视为策略梯度强化学习，并引入控制变量基线以降低单样本蒙特卡洛估计的高梯度方差。该值函数有闭式解：学生与教师之间的每 token 负反向 KL 散度，可直接由现有前向传播获得，无需额外 critic 或推理。在数学、科学和指令遵循基准上，vOPD 持续优于基础 OPD，并匹配开销最大的全词表方法，top-k 近似还能进一步降本且不损性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。