对齐舍入位置稳定BF16下LLM强化学习训练

Yijing Ke、Tianle Cai、Ruosong Wang 等在 arXiv 发布论文，提出通过在 RoPE、SwiGLU 和 residual RMSNorm 三个区域将训练侧的舍入位置与推理侧对齐（把选中中间量以 FP32 保留至 BF16 输出），来稳定 BF16 下的 LLM 强化学习训练。 背景是大语言模型强化学习常因推理与训练系统的实现差异，使本应 on-policy 的更新实际变成 off-policy，导致训练失稳。论文称在四个 Qwen 系列模型上，对齐全部三个区域可避免默认 BF16 基线下出现的训练崩溃；并且在其研究的实验中，仅对齐 RoPE 路径就已足够，即使仍有剩余数值差异。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。