跳到正文
Hugging Face Blog·· 18 小时前精选AI 评分61

在 32GB Mac 上流式运行 180B MoE 模型:Transformers 专家流式加载实现与基准对比

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者在 Transformers 中实现 MoE 专家流式加载,通过槽位缓存复用 grouped_mm、3 比特专家量化和 Metal 内核,在 32GB MacBook M5 上以约 14 tok/s 运行 121GB 专家权重的 Qwen3.8-Flash-Next,与 Strata 差距缩小到约 6%。

推荐理由

作者给出在 32GB Mac 上流式运行 180B MoE 模型的完整实现与基准对比,方法与代码可直接迁移到类似本地推理场景。

来源:Hugging Face Blog · huggingface.co