研究揭示基于偏好的模型排行榜可被操纵
热点事件持续更新
研究揭示基于偏好的模型排行榜可被操纵
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
研究者发布 arXiv 论文指出,Arena 式大语言模型排行榜存在三类操纵漏洞:策略性投票、策略性提示和策略性提名无关模型。论文称这些攻击在公开排行榜数据上对几乎所有测试模型有效,单次攻击可将模型名次提升最多 15-20 位,组合使用最多提升 45 位。 论文称,此类漏洞适用于任何基于 Bradley-Terry 模型、且允许开放提示、投票或提交模型的偏好式评估,并针对每类攻击提出了防御方法。
AI 根据报道生成 · 45 分钟前更新
最新进展11月14日 13:00
arXiv 论文:基于偏好的模型排行榜易受操纵,单项攻击可提升名次 15-20 位报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- arXiv cs.AI精选arXiv 论文:基于偏好的模型排行榜易受操纵,单项攻击可提升名次 15-20 位
arXiv 论文 arXiv:2611.14769 发现 Arena 式大语言模型排行榜存在三类操纵漏洞:策略性投票、策略性提示和策略性提名无关模型。研究在公开排行榜数据上验证这些攻击对几乎所有测试模型有效,单次攻击可将模型名次提升最多 15-20 位,组合使用最多提升 45 位,并针对每类攻击提出防御方法;漏洞适用于任何允许开放提示、投票或提交模型的 Bradley-Terry 偏好评估。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。