arXiv cs.AI· Zizhuo Lin, Quanling Liu, Jinsheng Quan, Chao Zhang, Yifan Zhu, Xing Shi, Jingtao Xu, Zhihui Li, Yawei Luo·· 1 天前AI 评分37
CCOPD：面向多轮语言模型的规范上下文在线蒸馏方法
Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models
AI 导读
一篇 arXiv 论文提出规范上下文在线蒸馏方法 CCOPD，用同一基座模型分别扮演冻结教师和可训练学生，缓解大语言模型在信息分多轮给出时因自锚定漂移而偏离答案的问题。仅在数学对话上训练后，CCOPD 在 RAW-SHARDED 场景下相对基座模型平均提升 32%，且基本保持完整上下文性能，在五个零样本域外任务家族上同样有效。
来源：arXiv cs.AI · arxiv.org