arXiv cs.AI· Abhijeet Sinha, Sundari Elango, Dianbo Liu·· 1 天前AI 评分47
期望回报导致强化学习结果层面模式坍缩：逆概率缩放（IPS-GRPO）如何修复
Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling
AI 导读
一项 arXiv 研究指出，强化学习中结果层面的模式坍缩并非探索不足或正则化太弱，而是期望回报目标本身的结构性后果——期望内的概率乘子使不同结果的 log 概率比按奖励差呈指数发散。作者提出逆概率缩放，并以 GRPO 的即插即用改写 IPS-GRPO 实现，无需辅助模型或架构改动。在推理和分子生成任务上，IPS-GRPO 持续减少模式坍缩，同时匹配或超过基线性能。
来源：arXiv cs.AI · arxiv.org