研究提出冻结预训练先验实现无离线数据的强化学习微调

Sami Nur Islam 等在 arXiv 论文（arXiv:2610.36247）中提出：离线转在线强化学习中若离线数据不可用，继续用在线行为克隆微调会抹除预训练先验，导致表征坍缩和动作多样性丧失，使 critic 缺乏有用的探索。这一 actor 侧失败是此前常被忽视的失败原因之一。 论文称，停止在线行为拟合、保留冻结的预训练先验，可在 IFQL、FQL 和动作分块 RL（QC）三类方法、七个 OGBench 域上显著改善免保留微调的效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。