arXiv cs.AI· Xuanfeng Yang, Le Gai, Jiaming Wang, Xuan Zhang·· 1 天前AI 评分31
超越策略差异：能力感知的多教师 On-Policy 蒸馏方法 CA-MOPD
Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation
AI 导读
一项 arXiv 研究提出能力感知多教师 on-policy 蒸馏方法 CA-MOPD，先将强化学习专家模型合并为学生初始化，再用验证器估计的师生能力差距动态调整各领域蒸馏强度。在数学、代码生成和指令跟随共六项 benchmark 上，CA-MOPD 平均得分 32.22，分别超过 naive MOPD、Open-MOPD 和合并初始化基线 0.86、0.83 和 0.74 分。
来源：arXiv cs.AI · arxiv.org