arXiv cs.AI· Yudong Pan, Lian Liu, Shixin Zhao, Yintao He, Kaiyan Chang, Tianhua Han, Chenyang Ai, Haonan Zhu, Mengdi Wang, Yinhe Han, Ying Wang·· 1 天前AI 评分40
3D-MoE：面向 3D 堆叠 NMP 上 MoE 解码的软硬协同设计系统
3D-MoE: Complementarity-Guided Hardware-Software Co-Design for MoE Decode on 3D-Stacked NMP
AI 导读
研究者提出 3D-MoE，一种在 3D 堆叠 DRAM 近存处理（NMP）上运行 MoE 解码的软硬协同设计系统，利用专家互补性进行离线分组与位置感知映射，并通过协作记忆网络（CMN）和在线重映射缓解热点。相比专家并行（EP），MoE 层平均加速 4.63×，端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×，仅增加 2.11% 逻辑裸片面积。
来源：arXiv cs.AI · arxiv.org