研究量化语言模型蒸馏中潜意识行为迁移比率

Uwe König 等发布论文，量化语言模型蒸馏中的“潜意识学习”行为迁移比率。该论文已被 ICML 2026 机制可解释性研讨会接收。 研究方法是对 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 两个教师模型施加不同强度的行为转向，然后仅用纯良性数据蒸馏学生模型，以此测量行为迁移比率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。