提出Split-KV上下文并行训练方法
热点事件持续更新
提出Split-KV上下文并行训练方法
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Geng Zhang 等在 arXiv 论文（arXiv:2611.05926）中提出 Split-KV，一种面向 Diffusion drafter 训练的精确上下文并行方法，并开源了代码。该方法将 key/value 分片保留在本地，使每层 attention 通信只涉及 query 大小的张量，且与上下文长度无关。 论文称，在 CP size 为 64 时，Split-KV 保持 85–91% 的弱扩展效率，相比现有最快的 CP 基线最高取得 3.67 倍加速。
AI 根据报道生成 · 54 分钟前更新
最新进展11月5日 13:00
Split-KV：面向 Diffusion Drafter 训练的高效上下文并行方法报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AISplit-KV：面向 Diffusion Drafter 训练的高效上下文并行方法
arXiv 论文提出 Split-KV，一种用于训练 Diffusion drafter 的精确上下文并行（CP）方法，将 key/value 分片保留在本地，使每层 attention 通信限制在 query 大小的张量、与上下文长度无关。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。