arXiv cs.AI· Chengtao Jian, Kai Yang·· 1 天前AI 评分19
TPO：面向 OOD 直接偏好优化的三层分布鲁棒学习
TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization
AI 导读
论文提出 TPO，一个三层分布鲁棒框架，用于 OOD 偏好对齐，联合建模组级、提示级和偏好级三层分布偏移的不确定性。该方法用 Wasserstein 距离实例化，得到包含闭式偏好级 margin 惩罚、提示级对抗嵌入扰动和最坏情况组重加权的可解目标，各层由独立半径控制。论文给出了有限样本收敛保证，并实证验证 TPO 优于现有鲁棒 DPO 方法，已被 NeurIPS 2026 接收。
来源：arXiv cs.AI · arxiv.org