arXiv cs.AI· Yunlong Hou, Fengzhuo Zhang, Yuan Cheng, Jiachun Pan, Xingyao Li, Zhuoran Yang·· 53 分钟前精选AI 评分64
论文重审 RL 泛化优于 SFT 的观点：SFT 数据是关键
Rethinking "RL Generalizes, SFT Memorizes": The Role of SFT Data
AI 导读
arXiv 论文 2611.14912（已接收至 NeurIPS 2026）通过 Qwen2.5 和 Qwen3 系列模型重新审视 RL 泛化优于 SFT 的观点。
推荐理由
论文用实验和理论说明 SFT 数据来源与规模设计得当后泛化可优于 RL，为理解两者差异提供可参考的角度。
正文 · AI 翻译
摘要：通过基于可验证奖励的强化学习（RL）训练的大语言模型展现出强大的推理能力和广泛的泛化能力，而通过监督微调（SFT）训练的模型通常被认为更容易记忆化且迁移能力有限。本文通过 SFT 训练数据的视角，在广泛使用的 Qwen2.5 和 Qwen3 系列模型上重新审视这一区别。首先，我们研究了数据来源的作用，并证明它至关重要：精心混合的 SFT 数据集显著优于仅由更大模型生成的数据。其次，我们研究了数据规模的作用，并证明使 SFT 与 RL 的正确 rollout 数量匹配可大幅提升 SFT 的泛化能力，而使总 rollout 预算匹配则使 SFT 的泛化能力与 RL 相当。结合这两个因素可进一步使 SFT 的泛化能力甚至优于 RL。第三，通过使用 LLM 标注来刻画训练 rollout 中的求解方法，我们证明更大的数据集能覆盖更多尾部方法，且这些尾部方法提供了可泛化的推理信号。最后，我们通过分析浅层 transformer 在 RL 和 SFT 下的训练动态，从理论上支持了这些实证发现。
| Comments: | Accepted to NeurIPS 2026. 39 pages, 12 figures |
| Subjects: | 机器学习 (cs.LG); 人工智能 (cs.AI) |
| Cite as: | arXiv:2611.14912 [cs.LG] |
| (或 arXiv:2611.14912v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.14912 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Yunlong Hou [view email]
[v1]
Wed, 11 Nov 2026 02:10:24 UTC (1,870 KB)
来源：arXiv cs.AI · arxiv.org