ICLR 论文证明奖励模型训练可违反帕累托最优并提出数据集设计修复
热点事件持续更新
ICLR 论文证明奖励模型训练可违反帕累托最优并提出数据集设计修复
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Alexandros Hollender 与 Sonja Kraiczy 发表于 ICLR 2026 的论文研究 RLHF 等基于损失的奖励模型训练何时能满足公理约束中的帕累托最优（PO）。论文将宪法式原则视为投票者、表示为嵌入空间中的线性方向，证明多项式奖励模型和任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励模型仍可能违反 PO。 作者称，在均匀比较方向和等长比较的理想化假设（受线性表示假说启发）下，线性奖励的损失训练可以恢复 PO，由此提出通过数据集设计来恢复帕累托最优的思路。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
基于损失训练下如何为 AI 对齐强制执行公理原则报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI基于损失训练下如何为 AI 对齐强制执行公理原则
一篇 ICLR 2026 论文研究 RLHF 等基于损失的奖励模型训练何时能满足 Pareto 最优（PO）。论文将宪法式原则视为投票者，表示为嵌入空间中的线性方向，并证明多项式奖励模型和任意固定宽度 d≥2 的单隐层 ReLU MLP 奖励模型仍可能违反 PO；而在均匀比较方向和等长比较的理想化假设下，线性奖励的损失训练可恢复 PO，由此提出通过数据集设计恢复 PO 的思路。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。