TOPSD方法解决多语言自蒸馏中Teacher Drift问题

Jaewon Cho 等在 arXiv 论文中提出 Teachable On-Policy Self-Distillation（TOPSD），用于解决多语言推理自蒸馏中的 "Teacher Drift" 现象——即学生错误累积时，教师模型跟随学生的错误步骤而非纠正。论文称该现象在低资源语言中出现更早。 论文称，在覆盖十种语言、三种模型规模的多语言数学推理实验中，TOPSD 一致优于常规 OPSD，在低资源和中等资源语言上提升尤为明显。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。