跳到正文
热点事件持续更新

研究者提出大推理模型安全对齐方法SAVeR²

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Yichen Sun 等作者在 arXiv 发布论文,提出面向大型推理模型的安全对齐方法 SAVeR²。该方法将安全目标分解为四个细粒度可验证奖励信号,配合难度感知的数据选择策略和保留推理能力的梯度投影机制,以消除安全与推理梯度冲突带来的“安全税”。 论文称,在 1.5B 到 671B 参数规模的模型实验中,SAVeR² 在多个基准上取得更好的安全表现和更低的过度拒绝率,且不损害通用推理能力。作者认为现有对齐方法存在对抗泛化差、“安全税”和粗粒度奖励不忠实等问题,主要因为忽视了大推理模型自身的安全推理能力。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.AI
    SAVeR²:基于可验证奖励的大语言推理模型安全对齐方法

    SAVeR² 是一种面向大推理模型的安全对齐方法,将安全目标分解为四个细粒度可验证奖励信号,并采用难度感知的数据选择策略稳定训练。该方法引入保留推理能力的梯度投影机制,消除安全与推理梯度的冲突,从而消除“安全税”。在 1.5B 到 671B 参数规模的模型实验中,SAVeR² 在多个基准上取得更优的安全表现和更低的过度拒绝率,且不损害通用推理能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。