DCKV:首个端到端训练的KV缓存压缩编解码器
热点事件持续更新
DCKV:首个端到端训练的KV缓存压缩编解码器
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Egor Maximov 等作者在 arXiv 论文(arXiv:2610.36950)中提出 DCKV,称其为首个端到端训练的 KV 缓存可微编解码器,用于压缩混合语言模型中仅存于少数全注意力层的提示词缓存。其变换、量化器与熵模型针对冻结语言模型联合优化,以提示词 token 和已解码邻位为条件。 论文结果显示,在 Qwen3.5-2B 上,DCKV 以超过 55 倍于 bf16 的压缩比存储每个 token,三个长上下文基准最多损失 1.8 分;压缩超 100 倍时最多损失 3.6 分。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
DCKV:混合语言模型中提示词 KV cache 的可学习变换编码报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.AIDCKV:混合语言模型中提示词 KV cache 的可学习变换编码
DCKV 是首个端到端训练的 KV cache 可微编解码器,用于压缩混合语言模型中仅存于少数全注意力层的提示词缓存,其变换、量化器与熵模型以提示词 token 和已解码邻位为条件,针对冻结语言模型联合优化。在 Qwen3.5-2B 上,DCKV 以超过 55 倍于 bf16 的压缩比存储每个 token,三个长上下文基准最多损失 1.8 分;压缩超 100 倍时最多损失 3.6 分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。