RL-IF：追踪在线强化学习中的非局部训练数据影响
RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning
AI 导读
arXiv 论文提出 RL-LOO 量化单个训练样本对在线强化学习下游目标的影响，并推导一阶估计器 RL-IF，将数据影响分解为优化效应与策略诱导的采样效应，同时给出近似精度的理论保证。基于“仅用优化效应即可近似 RL-IF”的发现，作者开发了数据过滤方法 RINSE，在标准控制基准和 RLHF 式毒性缓解实验中，其训练效率与最终性能均优于标准 PPO 和局部归因基线。
来源：arXiv cs.AI · arxiv.org