arXiv cs.AI· Jelena Markovic-Voronov, Petros Prastakos, Kayhan Behdin, Jincheng Cao, Zhipeng Wang, Shayan Mohajer Hamidi, Yuanda Xu, Zhengze Zhou, Wenhui Zhu, Rahul Mazumder·· 1 天前AI 评分41
OptEP：面向 MoE 大语言模型的重构优化专家剪枝方法
Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models
AI 导读
研究者提出 OptEP，一种基于连续松弛的后训练专家剪枝方法，通过可微专家选择变量和基于重构的权重更新，为 MoE 大语言模型保留最优专家子集。
来源：arXiv cs.AI · arxiv.org