WAKMan 工作负载感知 KV 缓存管理器论文发布
热点事件持续更新
WAKMan 工作负载感知 KV 缓存管理器论文发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者在 arXiv 发布论文（arXiv:2610.36355），提出负载感知的 KV cache 管理器 WAKMan，可在不识别请求类型、不读取提示词的情况下，根据实时流量为 LLM 前缀缓存选择淘汰策略。 论文测试显示单一策略各有优劣：vLLM 默认的 LRU 在 agentic 重度负载上比 S3FIFO 缓存命中率高 12%，但在其他场景最多落后 22%。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
WAKMan：负载感知的 KV cache 管理器报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIWAKMan：负载感知的 KV cache 管理器
WAKMan 是一种负载感知的 KV cache 管理器，可在不识别请求类型、不读取提示词的情况下，根据实时流量选择 LLM 前缀缓存的淘汰策略。在 20 种负载混合测试中，单一策略各有优劣：vLLM 默认的 LRU 在 agentic 重度负载上比 S3FIFO 高 12% 缓存命中，但其他场景最多落后 22%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。