跳到正文
热点事件持续更新

研究比较RLVR与RLHF跨域泛化:RLHF开放域训练迁移收益更大

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Shangjian Yin 等人发布一项受控研究,在固定优化器和提示词数量、仅变换提示域与奖励来源的条件下,比较 RLVR 与 RLHF 两种强化学习方式的大语言模型跨域泛化能力。 结果显示,RLHF 在开放域提示上训练不仅能大幅提升对话能力,还显著提升推理与编程能力;而 RLVR 提升推理后,其在开放对话上的收益远低于 RLHF。研究者据此称,基于奖励模型的开放域强化学习可作为跨域泛化的有效途径。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    RLVR 与 RLHF 奖励来源如何影响大语言模型跨域泛化:在哪奖励、奖励什么

    一项受控研究在固定优化器和提示词数量、仅变换提示域(数学、多域、聊天或混合)与奖励来源的条件下,考察 RLVR 与 RLHF 之间的能力迁移。结果显示,RLHF 在开放域提示上训练不仅能大幅提升对话能力,还显著提升推理与编程能力;而 RLVR 提升推理后,在开放对话上的收益远低于 RLHF,表明基于奖励模型的开放域强化学习可作为跨域泛化的有效途径。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。