arXiv 论文：基于偏好的模型排行榜易受操纵，单项攻击可提升名次 15-20 位
Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation
AI 导读
arXiv 论文 arXiv:2611.14769 发现 Arena 式大语言模型排行榜存在三类操纵漏洞：策略性投票、策略性提示和策略性提名无关模型。研究在公开排行榜数据上验证这些攻击对几乎所有测试模型有效，单次攻击可将模型名次提升最多 15-20 位，组合使用最多提升 45 位，并针对每类攻击提出防御方法；漏洞适用于任何允许开放提示、投票或提交模型的 Bradley-Terry 偏好评估。
推荐理由
论文用公开排行榜数据演示了三类偏好评估操纵手法及其提升名次的幅度，并给出对应防御思路。
正文 · AI 翻译
摘要：语言模型的竞技场式排名是在线排行榜、研究论文以及生产环境中模型评估广泛使用的评估框架。这些排名旨在通过对匿名模型在用户提示词上的两两比较，真实地评估模型性能，并通过 Bradley-Terry 模型聚合投票来产生最终排名。然而，我们发现这些排行榜极易受到多种操纵策略的影响，不诚信的提供者可利用它们来提升模型排名：策略性投票（提升某模型排名的个体投票，包括对无关模型的投票）、策略性提示（选择有利于某模型的提示词）和策略性提名（通过插入无关模型来提升某模型的排名）。我们在公开的排行榜数据上演示了这些效应，分析了导致这些漏洞的情况，并描述了防范每种攻击的方法。值得注意的是，这些问题适用于任何使用 Bradley-Terry 模型且允许开放式提示、投票或模型提交的基于偏好的评估。这些操纵几乎提升了所有受测模型的排名；每种攻击可使模型排名最多提升 15-20 位，而组合使用时可使模型排名最多提升 45 位。
| 学科分类： | 人工智能 (cs.AI) |
| 引用格式： | arXiv:2611.14769 [cs.AI] |
| （本版本为 arXiv:2611.14769v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.14769 arXiv 通过 DataCite 签发的 DOI（注册中） |
提交历史
来自：Eve Fleisig [查看邮件]
[v1]
2026年11月10日 星期二 21:47:55 UTC (2,991 KB)
来源：arXiv cs.AI · arxiv.org