arXiv 论文提出 KV cache 量化下的对齐崩溃诊断与 PCR 缓解方法
Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation
AI 导读
arXiv 论文（arXiv:2606.09864）研究 KV cache 量化对大语言模型安全对齐的影响，发现在 11 个指令模型（3.8B-72B）和 5 个基准（1,894 条提示）上，低比特量化会静默破坏安全对齐，如 Mistral-7B 在困惑度仅 1.03x 时拒绝率损失 15.2%，且不存在通用安全比特宽度。
推荐理由
论文指出 KV cache 低比特量化会静默破坏安全对齐且困惑度指标看不见，并给出可定位失效机理的训练免费修复协议。
正文 · AI 翻译
摘要：键值（KV）缓存量化被广泛用于降低 LLM 推理内存，但现有评估仅关注困惑度和准确率，而未评估其对安全性的影响。在本研究中，我们探讨了 KV 缓存量化下的对齐保持问题。在十一个指令微调模型（3.8B–72B）和五个基准（1,894 个提示）上的实验表明，低位量化可能悄然破坏安全对齐：Mistral-7B 在困惑度仅为 1.03x 时就损失了 15.2% 的拒答，且不存在通用的安全位宽，标准指标无法察觉的、模型特有的剧烈相变随之发生。我们发现其根本原因在于几何层面：安全特征占据一个低维激活子空间，相比困惑度所平均覆盖的完整表示空间，其对量化噪声的脆弱性高出 $10^2$–$10^3\times$ 倍。我们提出逐通道约减（Per-Channel Reduction, PCR），一种将每个模型归类到以下三种机制性失效模式之一的诊断方法：离群值压制安全（outlier-crushes-safety），即安全特征位于被离群值驱动的缩放因子附带损害的非离群通道中；离群值即安全（outlier-as-safety），即安全特征与离群通道重叠，更细的粒度也无法挽救；以及多层稀释（multi-layer dilution），即安全特征分布在多个层中，逐层修复失效。PCR 仅用 20 个校准提示，就能在全部九个主要模型以及一个来自独立家族的留出模型上预测出正确的缓解方向。PCR 可泛化到未见过的提示、模型和量化器家族，包括生产级量化器（KIVI：最高 97.2% 的恢复率）和基于旋转的量化（QuaRot 风格的 Hadamard），在基于注意力的分配方法失效之处取得成功。由此得到的免训练协议仅需约 35 GPU 分钟，即可在低于 1% 的延迟和极小内存开销下恢复多达 97% 的对齐损失，解决了在 NVIDIA GPU 上使用 FP8 KV 缓存的生产级 vLLM 服务中所确认的漏洞。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；新兴技术 (cs.ET) |
| 引用格式： | arXiv:2606.09864 [cs.LG] |
| （或 arXiv:2606.09864v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.09864 通过 DataCite 获取 arXiv 签发的 DOI |
提交历史
来自：Adarsh Kumarappan [查看邮件]
[v1]
2026年6月1日 周一 02:02:20 UTC（1,284 KB）
[v2]
2026年8月8日 周六 15:57:15 UTC（1,285 KB）
[v3]
2026年11月5日 周四 05:19:21 UTC（1,296 KB）
来源：arXiv cs.AI · arxiv.org