arXiv cs.AI· Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu·· 1 天前AI 评分48
免训练 On-Policy 蒸馏：前向传播即可融合多个专家模型
Training-Free On-Policy Distillation
AI 导读
一项 arXiv 研究提出"免训练 on-policy 蒸馏"：仅用前向传播，无需梯度训练，即可把多个独立微调的专家模型能力融合进一个学生模型，平均精度超过任一单独专家。
来源：arXiv cs.AI · arxiv.org