研究者发布免训练低秩KV缓存压缩框架TraceKV
热点事件持续更新
研究者发布免训练低秩KV缓存压缩框架TraceKV
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Ke Li等人在arXiv提交论文，提出TraceKV——一个免训练的低秩KV缓存压缩框架，统一了on-policy校准、敏感度感知SVD和全局秩分配，称可显著降低推理过程中的policy-KL散度。据论文，在多个视觉语言模型与视觉推理基准上，结合量化可实现5.64倍KV缓存压缩且推理精度近乎无损，优化的低秩注意力内核带来最高1.83倍端到端解码加速。代码即将开源。
AI 根据报道生成 · 2 小时前更新
最新进展11月14日 13:00
TraceKV：面向推理视觉语言模型的策略保持低秩 KV cache 压缩报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AITraceKV：面向推理视觉语言模型的策略保持低秩 KV cache 压缩
TraceKV 是一个免训练的低秩 KV cache 压缩框架，统一了 on-policy 校准、敏感度感知 SVD 和全局秩分配，显著降低推理过程中的 policy-KL 散度。在多个 VLM 与视觉推理基准上，结合量化可实现 5.64 倍 KV cache 压缩且推理精度近乎无损，优化的低秩注意力内核带来最高 1.83 倍的端到端解码加速。代码即将开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。