面向流模型离线强化学习的价值矫正蒸馏方法 VRD

研究者提出价值矫正蒸馏框架 VRD，解决离线强化学习中蒸馏 Flow Matching 行为策略时多模态数据导致的 OOD 模式平均问题。框架包含 VRD-Q 与 VRD-R 两种算法，分别通过价值分位数过滤低价值行为和重组潜空间隔离高价值轨迹。实验显示 VRD 在 D4RL、OGBench 和 Mineli 基准的连续控制与规划任务上优于现有生成式基线，尤其在多模态非专家数据集上提升明显。