arXiv cs.AI· Zhengxin Zhang, Maosen Tang, Ning Wang, Changhao Li, Jingren Zhou, Bo Dai, Sainyam Galhotra, Alex Townsend, Claire Cardie·· 1 天前AI 评分43
在线策略蒸馏必须完成每条 rollout 吗？STOPD 提出随机截断加速方案
Does On-Policy Distillation Need to Complete Every Rollout?
AI 导读
STOPD（Stochastic Truncated On-Policy Distillation）通过随机截断学生 rollout 并用分块逆概率加权（IPW）修正采样偏差，加速在线策略蒸馏（OPD）。
来源：arXiv cs.AI · arxiv.org