跳到正文
热点事件持续更新

Fengyuan Liu 等提出 EchoMoE,用激活压缩降低 MoE 专家并行通信开销

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Fengyuan Liu 等研究者在 arXiv 发布论文提出 EchoMoE,一种对现有 MoE 模型的轻量架构改造:用早期层隐藏态作参考,节点间只传输压缩后的差值而非完整隐藏态,并开源了实现和 vLLM 推理集成。 论文称,EchoMoE 将节点间通信量减少 58%、吞吐量提升 22.6%,在 18 个基准上平均性能损失在 3.8 个百分点内;在带宽受限的 Ethernet 上推理吞吐最高提升 2.38x,且兼容量化。将该方法适配到预训练 MoE 模型所需的训练 token 约比完整预训练少 8,500 倍。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    EchoMoE:用激活压缩降低 MoE 专家并行的通信开销

    研究者提出 EchoMoE,一种对现有 MoE 模型的轻量架构改造,用早期层隐藏态作参考,只传输压缩后的差值而非完整隐藏态。它将节点间通信量减少 58%,吞吐量提升 22.6%,18 个基准上平均性能损失在 3.8 个百分点内;在带宽受限的 Ethernet 上推理吞吐最高提升 2.38x,且兼容量化、提供 vLLM 推理集成,仅约 8,500x 少于完整预训练的训练 token 即可适配。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。