新研究：推理期停用 MoE 专家须匹配训练时权重规则
热点事件持续更新
新研究：推理期停用 MoE 专家须匹配训练时权重规则
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hanzhang Jia 等人在 arXiv（2611.05804）发布研究，系统比较推理时停用 MoE 专家的四种实现：移除、冻结、剩余专家重归一化、非归一化重路由，结论是效果取决于实现是否匹配训练时的权重规则。 实验在四个模型家族的五个指令微调模型上，按激活排名停用一半专家：遵循训练规则的实现困惑度为基线的 1.4 至 73 倍，规则错配时升至 14 至 28,740 倍；OLMoE 上 GSM8K 严格匹配准确率在四种实现下均降为零。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
推理时专家停用如何匹配训练时的权重规则：arXiv 新研究比较四种实现报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AI推理时专家停用如何匹配训练时的权重规则：arXiv 新研究比较四种实现
一项新研究系统比较了推理时停用 MoE 专家的四种实现（移除、冻结、剩余专家重归一化、非归一化重路由），发现效果取决于实现是否匹配训练时的权重规则。在五个指令微调模型上加基于激活排名停用一半专家时，遵循训练规则的困惑度为基线的 1.4 至 73 倍，规则错配时升至 14 至 28,740 倍；OLMoE 上 GSM8K 严格匹配准确率在四种实现下均降为零。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。