arXiv cs.AI· Yuanda Xu, Hejian Sang, Zhengze Zhou, Shayan Mohajer Hamidi, Xiaomin Li, Rohit Jain, Alborz Geramifard·· 1 天前AI 评分28
arXiv 论文提出 Δ-MOPD：蒸馏每位教师学到的东西用于多教师 on-policy 学习
Composing What Each Teacher Learned: Delta Distillation for Multi-Teacher On-Policy Learning
AI 导读
arXiv 论文提出 Δ-MOPD，在多教师 on-policy 蒸馏（MOPD）中不再迁移教师的端点策略，而是迁移“教师减基座”的 logit 偏移并重新锚定在学生模型的冻结初始化上，以剔除教师从其基座模型继承的偏好。
来源：arXiv cs.AI · arxiv.org