论文揭示前缀缓存代理服务的持续退化
热点事件持续更新
论文揭示前缀缓存代理服务的持续退化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Wen Huang 与 Jack Liu 在 arXiv 论文（arXiv:2611.13412）中称，前缀缓存下的 LLM 智能体服务处于亚稳态：几分钟的额外突发流量即可使 vLLM 服务器进入退化区间，命中率降至约 10%、吞吐减半，且积压持续增长 70 分钟。论文称该退化只在启用前缀缓存时出现，且在缓存热身服务器本可承受的负载下即可触发；Qwen3-32B 配 SWE-bench 智能体轨迹形态及 SGLang 上也能复现，SGLang 可容忍更大的触发量。 解法方面，论文称单纯限制新请求准入只能在 7 次匹配的崩溃实验中恢复 1 次，而按容量上限挂起已准入会话可在几分钟内全部恢复；一个将活跃会话常驻 KV 需求限制在缓存池内的预算器，在作者测试的所有运行中都预防了该故障，其阈值无需按工作负载调参。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
arXiv 论文解析前缀缓存下 LLM 智能体服务的持续退化机制与解法报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AIarXiv 论文解析前缀缓存下 LLM 智能体服务的持续退化机制与解法
Wen Huang 与 Jack Liu 的 arXiv 论文（arXiv:2611.13412）表明，prefix caching 下的 LLM 智能体服务处于亚稳态，几分钟额外突发流量可使 vLLM 服务器进入退化区间，命中率降至约 10%、吞吐减半且积压持续增长 70 分钟。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。