论文提出MoE-SpAc边缘设备MoE推理框架并开源代码
热点事件持续更新
论文提出MoE-SpAc边缘设备MoE推理框架并开源代码
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shuhuai Li 等研究者在 arXiv 发布论文，提出面向异构边缘设备的 MoE 推理框架 MoE-SpAc，将投机解码重新用作内存管理的前瞻传感器，以缓解 MoE 模型在边缘设备上的内存限制。代码已开源。 框架包含三个部分：投机效用估计器用于追踪专家需求，异构负载均衡器通过在线整数优化动态划分计算，异步执行引擎在同一效用空间统一预取与淘汰。 论文报告的实验结果为：在七个 benchmark 上，TPS 较 SOTA 的基于投机解码的基线提升 42%，较所有标准基线平均加速 4.04 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
MoE-SpAc：基于投机激活效用的异构边缘场景高效 MoE 推理框架报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AIMoE-SpAc：基于投机激活效用的异构边缘场景高效 MoE 推理框架
论文提出 MoE-SpAc，将 Speculative Decoding 重新用作内存管理的前瞻传感器，以缓解 MoE 模型在边缘设备上的内存限制。框架包含投机效用估计器、通过在线整数优化动态划分计算的异构负载均衡器，以及统一预取与淘汰的异步执行引擎。在七个 benchmark 上，TPS 较 SOTA SD 基线提升 42%，较所有标准基线平均加速 4.04x，代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。