跳到正文
热点事件持续更新

LACCO 提出低带宽下计算-通信重叠的分布式训练算法

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Daniele Kopyshevskiy 等在 arXiv 发布论文,提出 LACCO(Local Accumulation with Computation–Communication Overlap),一种面向低带宽网络的语言模型分布式训练算法。该两阶段算法将全局通信与本地计算重叠,外层应用所有副本共享的全局聚合更新且不引入陈旧性,论文同时给出平滑非凸目标的收敛保证。 论文实验基于 FineWeb 的语言模型预训练,称 LACCO 持续优于 Eager、Delayed DiLoCo 等通信重叠基线;相关收益在模型规模扩至 0.5B 参数、通信间隔和最多 16 个副本的范围内保持稳定。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    LACCO:通过计算与通信重叠的低带宽分布式语言模型训练方法

    LACCO(Local Accumulation with Computation–Communication Overlap)是一种两阶段算法,在低带宽网络下训练语言模型时将全局通信与本地计算重叠,且外层更新不引入陈旧性,同时保证平滑非凸目标的收敛。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月16日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。