研究：模型越大，量化剪枝损伤越难被网络补偿

Gautam Gupta 等人在 arXiv 论文（arXiv:2611.07891）中将量化与剪枝对语言模型的损伤分解为“直接损失”与“网络其余部分的补偿”两部分，并比较不同模型规模下的差异。结果显示：同等损伤下，小模型能恢复大部分损失，大模型则保留大部分损伤，因为补偿响应随模型增大而抵消更少。 研究聚焦负责上下文检索的少量注意力头，将消融这些头的预期损失精确分解为被网络其余部分恢复的部分和到达输出的部分，再跨模型规模比较。作者据此指出，在小模型上近乎无害的压缩，在大模型上代价可能很高。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。