arXiv cs.AI· Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang·2026-10-23 12:00· 2 小时前AI 评分40

InfoQuant：为低比特 LLM 量化塑造激活分布

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

AI 导读

InfoQuant 是一种免训练的低比特量化方法，通过峰值抑制正交变换（PSOT）和自适应离群 token 选择，把激活塑造成更适合离散化的分布。在 W4A4KV4 设置下，它平均保留 97% 的浮点精度，并将 LLaMA-2 13B 的性能差距较此前 SOTA 缩小 42%。代码已开源。