RubricOpt：偏好优化中的语义评分标准自修订框架

Wei Chen 等研究者在 arXiv 论文中提出 RubricOpt 框架，让策略模型在偏好优化过程中自行诊断无评分标准输出并修订语义评分标准，通过共享语义表示与确定性门控检查证据引用和固定语义锚点。修订后的评分标准在训练时引导 DPO，偏好对、标签和目标保持不变，评估时移除评分标准。 在能力与开放式生成基准上的实验显示，该评分标准条件化可优于普通 DPO，但增益与回退在不同模型和数据集上表现不一。一项对照续训实验将修订的贡献与额外训练分开，发现所测编辑的增量效果喜忧参半，且其反馈与评估集存在重叠。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。