Jaeyong Song等提出ForeSpark并行推测解码调度方法
热点事件持续更新
Jaeyong Song等提出ForeSpark并行推测解码调度方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Jaeyong Song 等在 arXiv 提交论文，提出工作保持推测（WCS）设计并实现原型系统 ForeSpark，在 LLM 服务中为每个请求联合分配草稿与验证预算。论文称在 vLLM 上实现后，ForeSpark 吞吐较 DSpark 最高提升 1.77 倍，较自回归解码提升 2.49 倍，且在匹配单请求生成率时不改变输出分布。 系统包含上下文感知的预草稿估计器、基于全局排序的轻量级联合调度器和草稿后预算分配。论文称在延迟 SLO 约束下，ForeSpark 可承受最高为 DSpark 1.51 倍的请求率。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
ForeSpark：面向并行推测解码的草稿与验证预算联合调度报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AIForeSpark：面向并行推测解码的草稿与验证预算联合调度
论文提出工作保持推测（WCS）设计并实现原型系统 ForeSpark，在 LLM 服务中为每个请求联合分配草稿与验证预算。系统包含上下文感知的预草稿估计器、基于全局排序的轻量级联合调度器和草稿后预算分配。在 vLLM 上实现后，ForeSpark 吞吐较 DSpark 最高提升 1.77x，较自回归解码提升 2.49x，且在延迟 SLO 下可承受最高 1.51x 于 DSpark 的请求率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。