复旦创智 OpenMOSS 团队发布长上下文混合架构机制研究，提出六条设计结论

复旦大学与上海创智学院 OpenMOSS 团队发布论文《混合架构的长文力学》，系统比较 RoPE/NoPE 全注意力、滑窗注意力（SWA）与 GLA/GDN 门控线性注意力混合架构在 376M 到 3B 四种规模、4k 预训练加 32k 续训下的长上下文表现，提出滑窗混合扩长的跷跷板效应、线性混合没有免费午餐效应、短窗口疲惫与长窗口懒惰等六条结论。