arXiv cs.AI· Ermo Hua, Xiangyu Hong, Baiting Wu, Che Jiang, Haozheng Hou, Yicheng Gu, Hanjing Wang, Qirui Zeng, Ming Zhang, Ning Ding, Qipeng Guo, Youbang Sun, Biqing Qi, Bowen Zhou·· 1 天前AI 评分41
Meta Expert：跨层专家共享让 MoE 存储与检索更高效
Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
AI 导读
arXiv 论文提出 Meta Expert 方法，用跨层共享的专家替代主流 MoE 模型中各层独立的 Local Expert，降低层间参数冗余。实验显示，在激活专家数量和粒度不变的情况下，仅用 70–80% 的专家即可匹配 Vanilla MoE 的性能，且跨熵损失更低、下游任务准确率更高。理论分析还表明 Meta Expert 为隐状态提供更灵活的残差通路，提升信息检索效率。
来源：arXiv cs.AI · arxiv.org