提出LinearARD：用注意力蒸馏修复RoPE扩展模型

论文作者提出LinearARD，一种恢复蒸馏方法：通过让学生模型与冻结的原生RoPE教师在注意力结构上保持一致，修复经RoPE扩展上下文后的模型。 论文称，LinearARD仅用425万token即可恢复模型原生短上下文性能的93.1%/94.2%/94.3%，并在RULER长上下文评测中表现出较强的稳健性。作者已发布代码。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。