研究者提出LeapQuant线性注意力状态量化方法

Yi Pan 等发布 arXiv 论文，提出 LeapQuant——一种免训练的线性注意力循环状态量化方法。论文称其在 8-bit 量化下实现近无损性能，精度与 FP32 基线相当。 方法上，LeapQuant 通过 per-window 量化缓解误差累积，并以少量高精度 Compensator Tokens 保留状态中的最大离群值。论文称在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 上，核级别平均加速 2.05–3.70 倍，端到端推理平均加速 1.47 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。