Hugging Face Daily Papers· Patrick Haller, Filipe Laitenberger, Alan Akbik·2026-10-21 04:00· 2 天前AI 评分41

PACE：面向 4-bit 循环状态的周期性与通道对齐编码方法

PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States

AI 导读

论文提出 PACE，一种事后式 4-bit 状态量化器，用于压缩线性注意力语言模型的循环状态，仅每隔几个生成 token 舍入一次并缓存中间 token，同时按列共享量化 scale、将误差最大的头保留为 8-bit。