蒸馏小模型弃权行为研究拆解偏差分数三机制

Plawan Kumar Rath 在 arXiv 发布测量研究论文（arXiv:2607.28639 v3），分析蒸馏小语言模型含弃权选项偏差分数背后的三种机制：拒绝损失、采样抖动和选项俘获。 论文发现，参考模型在不同推理种子间重采样时，10% 到 27% 的拒绝会变成刻板印象答案；未计此基线的逐项拒绝指标会夸大损害。而用拒绝样本训练的学生模型在弃权从不正确的科学题上最多 95% 会选弃权选项，并迁移到三个额外基准。论文称，蒸馏模型引用的偏差分数应说明报告的是其中哪种机制。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。