arXiv cs.AI· Wei Chen, Yubing Wu, Shigui Li, Delu Zeng, Jingfeng Liu, Junmei Yang, Zhiheng Zhou, Bo Li, Min Chen, Zhou Wang·· 2 小时前AI 评分29
RubricOpt：面向偏好优化的语义评分标准自修订框架
RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization
AI 导读
新提出的 RubricOpt 框架让策略模型在偏好优化过程中自行诊断无评分标准输出并修订语义评分标准，通过共享语义表示与确定性门控检查证据引用和固定语义锚点。修订后的评分标准在训练时引导 DPO，且偏好对、标签和目标保持不变，评估时移除。能力与开放式生成基准实验显示其可优于普通 DPO，但增益与回退在不同模型和数据集上表现不一。
来源：arXiv cs.AI · arxiv.org