GAAC 无损压缩 KV cache 加速端侧 LLM 推理
热点事件持续更新
GAAC 无损压缩 KV cache 加速端侧 LLM 推理
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yipin Guo 等在 arXiv 发布 GAAC（Group-Adaptive Additive Codec），一种利用指数冗余的无损 KV cache 压缩与推理系统，在不近似 KV 值的前提下降低存储并加速注意力计算。 论文称，在五个受测模型上 GAAC 实现 1.405–1.407 倍的 BF16 KV 无损压缩；在 NVIDIA DGX Spark 上，64K token 上下文的解码注意力加速 1.19–1.27 倍；在 Apple M4 上注意力加速 1.02–1.25 倍，显示该方法可移植到 NVIDIA GPU 之外的硬件。
AI 根据报道生成 · 1 小时前更新
最新进展10月31日 12:00
GAAC：面向个人设备带宽高效 LLM 推理的无损 KV 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AIGAAC：面向个人设备带宽高效 LLM 推理的无损 KV 压缩
arXiv 论文提出 Group-Adaptive Additive Codec（GAAC），一种利用指数冗余的无损 KV 压缩与服务系统，可在不近似 KV 值的前提下降低存储并加速注意力计算。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。