arXiv cs.AI· Yi Wen, Hao Chen, Wanyu Wang, Maolin Wang, Pengyue Jia, Derong Xu, Huize Tan, Yingyi Zhang, Wenlin Zhang, Weihong Luo, Xiku Du, Xiangyu Zhao·· 1 天前AI 评分34
TrajEvolve：结合事后信用分配的轨迹演化强化学习方法
TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment
AI 导读
研究者提出 TrajEvolve，一种面向大语言模型强化学习推理训练的轨迹演化范式，针对长程任务中成功轨迹采样不足和稀疏最终奖励导致冗余步骤的问题。该方法通过修正历史轨迹中的低质量步骤生成“演化轨迹”，并将步骤级信用分配重新表述为二分类任务，借助反事实验证识别冗余步骤。在两个数据集上的大量实验证明了该方法的优越性。
来源：arXiv cs.AI · arxiv.org