研究用国际象棋测试床揭示预训练loss可预测RL收益
热点事件持续更新
研究用国际象棋测试床揭示预训练loss可预测RL收益
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Jingyan Shen 等研究者发布论文，以国际象棋为受控测试床研究预训练选择对 RL 后训练收益的影响，在 5M 至 1B 参数模型上进行预训练、SFT 和可验证奖励的 RL。研究发现：给定 RL 计算量下的性能可由预训练 loss 预测，RL 奖励曲线斜率随预训练 token 数近似线性提升。研究还发现 RL 并非单纯锐化 SFT 策略。研究者在数学文本上训练 1B 模型，复现了同样的预测规律。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 13:00
从预训练到后训练理解推理：以国际象棋为受控测试床的研究报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- arXiv cs.AI从预训练到后训练理解推理：以国际象棋为受控测试床的研究
一项研究以国际象棋为受控测试床，考察预训练选择如何影响 RL 后训练收益。研究者在 5M 至 1B 参数模型上进行预训练、合成推理轨迹的 SFT 及可验证奖励的 RL，发现给定 RL 计算量下的性能可由预训练 loss 预测，RL 奖励曲线斜率随预训练 token 数近似线性提升。在数学文本上训练 1B 模型也复现了同样的预测规律。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。