研究称推理蒸馏仅需教师0.01%词表支持且无退化
热点事件持续更新
研究称推理蒸馏仅需教师0.01%词表支持且无退化
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
一项 arXiv 研究提出仅从教师模型最高概率词表子集蒸馏的方法，将支持范围从 100% 压缩至 0.01%。在 Qwen3 4B→1.7B 蒸馏中，0.01% 词表支持在 MMLU-Pro 上相对全词表蒸馏无退化，Qwen3 8B→4B 与 Nemotron Nano 12B→9B 亦验证了该发现。 效率方面，在 0.01% 支持下缓存教师前向传播的保留 next-token 分数可使单步训练时间减少 38%，将学生输出计算限制在这些词元上可削减 24% 峰值内存。Nemotron Nano 则需 0.1% 支持才能匹配全词表 MMLU-Pro，更小的比例会导致无法生成结束推理标签。
AI 根据报道生成 · 40 分钟前更新
最新进展11月14日 13:00
面向推理蒸馏的高效教师支持研究：Qwen3 4B→1.7B 仅需 0.01% 词表支持报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AI面向推理蒸馏的高效教师支持研究：Qwen3 4B→1.7B 仅需 0.01% 词表支持
一项 arXiv 研究提出从教师模型最高概率词表子集进行蒸馏的方法，将支持范围从 100% 压缩至 0.01%。在 Qwen3 4B→1.7B 蒸馏中，保留 0.01% 词表在 MMLU-Pro 上相对全词表蒸馏无退化，Qwen3 8B→4B 与 Nemotron Nano 12B→9B 亦验证该发现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。