跳到正文
热点事件持续更新

论文提出流式在线策略蒸馏,解耦生成、监督与更新三时钟

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Da Wang 等人在 arXiv 发布论文,提出流式在线策略蒸馏方法:将响应生成、监督交付与参数更新三个时钟解耦,响应在生成过程中反复交付新增片段,每次交付保留完整因果前缀,且只在新增位置计算损失。 在 GSM8K 实验中,用 VERL 将 Qwen3-4B 蒸馏到 Qwen3-0.6B,监督预算匹配使七个共同候选上最佳测试准确率的早期差距从 4.55 缩小到 2.42 个百分点。作者称新鲜度过滤与分歧重叠选择能改善局部峰值,但未建立持续优势。

AI 根据报道生成 · 21 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    流式在线策略蒸馏:解耦三个时钟实现分阶段监督消费

    论文提出流式在线策略蒸馏方法,将响应补全、监督交付与参数更新三个时钟解耦,使生成中新片段反复交付且仅在新增位置计算损失。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。