arXiv cs.AI· Irene Tenison, Abdulrahman Alabdulkareem, Daniel Karl I. Weidele, Nima Dehmamy, Dan Gutfreund·· 1 天前AI 评分41
RACE：基于 Query-Key 激活能量的 RoPE 对齐注意力压缩方法
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
AI 导读
arXiv 论文提出 RACE，一种后训练 KV cache 头维压缩方法，通过按 query-key 联合激活能量选择完整旋转对，与预训练 RoPE 变换兼容，无需推理时重建或专用 kernel。
来源：arXiv cs.AI · arxiv.org