HyScale：可学习稀疏注意力长上下文训练加速系统发布

Yangsheng Deng 等作者在 arXiv 发布论文，提出面向可学习稀疏注意力的长上下文训练系统 HyScale，核心组件包括免建分数表、即时求精确 top-k 的 HyTopK，以及在重计算中复用前向选择结果的 selection replay。 论文称，HyScale 在 512 块 H20 GPU 上将 GLM-5.1 的 1M token 序列训练较 Megatron-LM 提速 2.07 倍；在 32 块 H800 GPU 上、1M token 下将 DeepSeek-V4-Flash 的 CSA 层和 Qwen3.8-Flash-Next 的 QSA 层分别提速 2.01 倍和 1.57 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。