EOPSA：高效在线自蒸馏安全对齐方法

Qirui Liu 等研究者发布论文提出 EOPSA，一种高效的在策略自蒸馏（OPSD）安全对齐方法，针对监督坍缩和风格漂移导致的梯度稀释问题。该方法通过基于 Teacher Rescue Rate（TRR）指标的自适应 Rollout 调度和选择性蒸馏，只对安全关键 token 做梯度更新。 论文称，EOPSA 将 rollout 计算量削减约 50%，仅对约 2% 的 token 反向传播，在安全合规性和推理能力保留方面均优于全 token 蒸馏基线。实验覆盖最大 32B 参数的推理模型，代码和模型已在项目仓库公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。