热点事件持续更新

发布FlashOffloading低延迟KV缓存卸载论文

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

研究者在 arXiv 发布 FlashOffloading 论文，提出一种以主机 DRAM 为中心的推理架构，在 prefill 和 decode 阶段完全卸载 KV cache，通过 rolling HBM cache、热缓存、反向稀疏索引和计算-加载重叠内核降低卸载延迟，面向长上下文 LLM 服务。论文实验在 Ascend910C 的 prefill-decode 分离平台上部署 GLM-5.2 并使用 MTP3 多 token 预测投机解码。据论文，在 30 ms TPOT 约束下，prefill 吞吐最高提升 1.38 倍，decode 吞吐最高提升 1.91 倍。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

13:00
arXiv cs.AI
FlashOffloading：面向长上下文 LLM 服务的低延迟 KV cache 卸载方案
研究者提出 FlashOffloading，一种以主机 DRAM 为中心的推理架构，在 prefill 和 decode 阶段完全卸载 KV cache，通过 rolling HBM cache、热缓存、反向稀疏索引和计算-加载重叠内核降低卸载延迟。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。