研究检验同一模型不同量化精度的分歧作错误检测信号

Mohammed Nayeem Khan 与 Allan Kevin T 发表论文，评估用同一权重的 8-bit 副本与更低精度副本之间的分歧分数作为逐题错误信号，用于弃答、升级和重问，成本仅多一次前向传播、无需采样或训练。他们在 Qwen3-0.6B 和 Qwen3-1.7B 上模拟 3 到 6 bit、每组 32 到 256 的分组舍入量化，对 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag 子集共 8398 道选择题评分。 该研究还发现，在匹配误差能量的条件下，高斯权重噪声的信息量与舍入量化相当（仅 0.6B 模型上验证），因此作者称没有证据表明该信号是量化特有的。

AI 根据报道生成 · 30 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。