MoE Transformer 泛化与缩放定律的理论研究

一项发表于 ICML 2026 的研究为 MoE Transformer 建立了泛化与缩放理论，将每输入的激活参数容量与路由组合复杂度清晰分离。通过在固定路由模式上条件化并跨模式做联合界定，作者得到随激活参数预算缩放的度量熵上界及 MoE 特有的路由开销。研究证明逼近误差既可通过扩大激活容量、也可通过增加专家数来降低，并据此导出模型规模、数据量与算力最优权衡的神经缩放定律。