arXiv cs.AI· Haoyu Chen, Jun Bai, Yang Liu, Jianfei Zhang, Wenge Rong·· 1 天前AI 评分40
MoEvolve：通过在线策略双向蒸馏增强 MoE 模型
A Stronger Teacher Within: Strengthening MoE Models via On-Policy Bidirectional Distillation
AI 导读
arXiv 论文提出 MoEvolve，一种针对 MoE 大语言模型的双向蒸馏框架，通过提高每 token 激活预算 exposing 潜在专家容量，先恢复并强化高 k 模型，再将能力反向蒸馏回原始低 k 配置。在多个 MoE 模型与基准上，MoEvolve 比初始模型最高提升 22.2 个领域平均分，比同等预算 RLVR 基线最高领先 6.5 分，最终低 k 模型常超过其激活扩展的教师模型。
来源：arXiv cs.AI · arxiv.org