arXiv cs.AI· Runyang You, Yongqi Li, Tiezheng Yu, Wenjie Li·· 1 天前AI 评分38
On-Policy Transition Distillation（OPTD）：层间预测迁移监督提升模型蒸馏效果
On-Policy Transition Distillation
AI 导读
arXiv 论文提出 On-Policy Transition Distillation（OPTD），在学生生成的 rollout 上对齐师生模型逐层 log-probability 增量，增强传统 on-policy distillation 的最终层分布匹配。
来源：arXiv cs.AI · arxiv.org