研究者提出KVBuffer线性注意力IO感知推理机制

Longwei Zou 和 Lin Zhong 提出 KVBuffer，一种面向线性注意力推理的 IO 感知服务机制：通过缓冲近期的 key 和 value，在解码时进行 chunkwise 计算、推测解码的并行验证，以及短上下文下的直接注意力计算，降低状态更新带来的内存访问开销。 作者在 SGLang 中为 Qwen3.5 和 Nemotron-3 系列模型实现了 KVBuffer。据论文称，该机制可将批量解码加速至最高 1.47 倍，并在验证四个草稿 token 时将推测解码可服务的最大请求数提高 5 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。