论文提出尾校准信号预测BoN有限预算下的奖励欺骗

Cheng Gui 等在 arXiv 发表论文，对 Best-of-N（BoN）推理中有限预算下的奖励欺骗给出尾校准分析。研究证明 BoN 值等于条件真实奖励按提示内分数分位数的 Beta 加权积分，且只有当奖励校准曲线尾部下行时 BoN 值才会随预算增大而下降：Gaussian 误差下 BoN 持续改善，Laplace 误差达到平台，重尾误差则回到先验均值。 论文称，一个 held-out 尾校准统计量能可靠预测在何处应用交叉拟合的预算上限有帮助；作者同时指出尾校准不能替代排序指标。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。