复旦OpenMOSS团队发布混合架构长上下文机制研究

复旦大学与上海创智学院 OpenMOSS 团队发布论文《混合架构的长文力学》（Mechanics of Long-Context Hybrid Models），系统比较全注意力、滑窗注意力（SWA）与 GLA/GDN 门控线性注意力混合架构在 376M 到 3B 四种规模、4k 预训练加 32k 续训设置下的长上下文表现。 论文提出六条设计结论，包括滑窗混合扩长的跷跷板效应、线性混合没有免费午餐效应、短窗口疲惫与长窗口懒惰等。论文称，在 RULER 的 NIAH-SK1 任务上，模型从 4k 训练长度外推到 64k，实现 16 倍免训练外推并保持 100% 准确率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。