中科院自动化所团队提出TESD改进自蒸馏训练
热点事件持续更新
中科院自动化所团队提出TESD改进自蒸馏训练
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shufan Shen 等中科院自动化所作者团队在 arXiv 论文中提出教师演化自蒸馏（TESD）方法，用于解决 On-Policy Self-Distillation（OPSD）训练中性能提升不连续的问题。论文称该问题的根源是模型自教学能力有限，会在部分样本上生成不可靠的引导。 TESD 的做法是：通过环境反馈对自教师进行教师导向优化，并依据奖励估计教师引导的可靠性，对不可靠样本自适应降权。论文称多项数据集和模型规模的实验显示 TESD 持续优于代表性的 token 级和序列级方法。
AI 根据报道生成 · 45 分钟前更新
最新进展10月31日 12:00
教师演化自蒸馏（TESD）：改进 On-Policy Self-Distillation 的训练方法报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AI教师演化自蒸馏（TESD）：改进 On-Policy Self-Distillation 的训练方法
arXiv 论文提出 Teacher-Evolution Self-Distillation（TESD），解决 On-Policy Self-Distillation（OPSD）训练中性能提升不连续的问题。该方法通过环境反馈对自教师进行教师导向优化，并依据奖励估计教师引导可靠性，对不可靠样本自适应降权。多项数据集和模型规模的实验显示 TESD 持续优于代表性 token 级和序列级方法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。