MISTILL：蒸馏推理模型决策注意力头并刻画大规模标签选择机制

Debjyoti Saha Roy 等在 arXiv 论文（v3）中提出 MISTILL 蒸馏方法：不同于链式思维蒸馏，它在决策事件上同时监督学生的池化注意力。论文还刻画了推理模型在数千至数十万候选标签中零样本选出相关标签的机制，并在 MIMIC-IV 出院小结临床编码任务（上下文含全部 5,651 个候选编码）上验证：一小组全局、分阶段的注意力头在每个小结上必要且充分。 效果方面作者称：在事后发现的 Read on heads 上，MISTILL 使一个跨家族学生模型的对比决策因果恢复接近翻倍，并在已具备大部分该能力的学生上带来小而种子稳定的增益，在匹配精度下未检出任务差异；但预注册的证据翻转测试未在所测路径上发现依赖证据的决策得到改善。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。