arXiv cs.AI· Afonso Baldo, Ant\'onio Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro·· 3 小时前AI 评分45
Dynalize：用动态惩罚缓解偏好奖励模型的 reward hacking
Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties
AI 导读
论文提出 Dynalize，在策略训练过程中在线缓解偏好奖励模型的 reward hacking：由语言模型异步分析训练 rollout 并针对不良行为生成惩罚，再由 judge 应用到每次 rollout。在临床咨询和创意写作任务上，仅用奖励模型训练会推高分数但导致外部 benchmark 下降，Dynalize 能支撑更长训练并提升下游表现；该方法在多轮训练以及奖励模型被重训后依然有效。
来源：arXiv cs.AI · arxiv.org