UniSD：系统研究大语言模型自蒸馏的统一框架

研究者发表论文提出 UniSD，一个面向大语言模型自蒸馏的统一框架，整合多教师一致性、EMA 教师稳定化、token 级对比学习、特征匹配和散度裁剪等机制，据论文所述分别针对监督可靠性、表征对齐与训练稳定性。 研究者在 3 个模型家族的 6 个模型、6 个 benchmark 上用该框架分析自蒸馏何时优于静态模仿、哪些组件带来提升以及各组件如何交互。基于分析构建的集成流水线 UniSDfull，据论文报告比基础模型提升 5.4 分，比最强基线提升 2.8 分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。