跳到正文
热点事件持续更新

BubbleTea:利用MoE专家并行气泡进行微调的共生系统

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Oana Balmau 等人在 arXiv 发布论文,提出 BubbleTea,称其为首个利用 MoE 模型专家并行气泡进行微调的 colocation 系统。该系统根据 router 的 token 分配逐层预测每块 GPU 的气泡,并复用已加载的权重填充短微调块。 论文的评估在四块 A100 GPU 上服务三个 MoE 模型的设置下进行,结果显示 BubbleTea 的微调吞吐相比现有 colocation 系统 LLMStation 快 1.9 至 6.2 倍。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    BubbleTea:利用专家并行气泡进行微调的首个 colocation 系统

    论文提出 BubbleTea,首个利用 MoE 模型专家并行气泡进行微调的 colocation 系统。它根据 router 的 token 分配逐层预测每块 GPU 的气泡,复用已加载权重填充短微调块。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。