arXiv 论文：用户评价大语言模型的标准在上升，AI 并未变笨
AI Isn't Getting Dumber, We're Getting Pickier: Rising Standards in Human Evaluation of Large Language Models
AI 导读
研究者分析 Chatbot Arena 上 2023 年 5 月至 2024 年 8 月的 1,260,967 张盲投票，在版本固定的模型对上检验用户评价标准是否在变化。
推荐理由
论文用 Chatbot Arena 固定模型对的盲投数据分离模型退化与用户标准上升，对理解 LLM 排行榜和人类反馈训练数据的偏差有参考价值。
正文 · AI 翻译
摘要：用户常常抱怨 ChatGPT 等 AI 助手正在变差。有些版本确实会变化，但人工评估留下了另一种未经验证的可能：评判者本身在变。我们在 Chatbot Arena 上区分这两者，这是一个公开平台，人们比较两个匿名大语言模型（LLM）的回答，选出更好的一个或认为两者都不好。我们研究了 2023 年 5 月至 2024 年 8 月期间对版本固定的模型对投出的 1,260,967 张盲投票：带日期的厂商快照和权重固定的开源模型。对于同一对未变的模型，认为“两者都不好”的投票比例在 17.1% 的均值上每月上升 1.71 个百分点，2024 年每月上升 1.91 个百分点。在 2023 年和 2024 年都被频繁观察到的十四对模型中，这一比例在每一对中都上升了，从 15.5% 升至 23.3%。排名并无趋势：2024 年，较强模型在决定性投票中的份额保持平稳。这种上升在同一投票者、同一模型对内存在，并且各批次投票者从其首次记录的投票起就已出现。在加入提示词控制后、在所有主要语言中、对带日期的厂商快照、开源权重模型以及回答长度稳定的模型、以及在不同界面变更之间，这一结论均成立。这种漂移在各模型间是共有的：用其他模型对估计出的月份效应可将其从每个模型自身的模型对中移除。就全平台而言，平均模型对 2023 年平均水平本应得到 78% 的得分，但“两者都不好”的投票比例最终仍接近初始水平。这一模式符合一种随该领域进步而演变的标准，因此停滞不前的产品会被判定为在退步。对 AI 的绝对评判发生了漂移，而相对比较保持稳定——这种评估漂移对 LLM 排行榜以及用于训练模型的人类反馈都有重要意义。
| 评论： | 23 页，6 幅图，10 个表；工作论文 |
| 主题： | 人机交互 (cs.HC)；人工智能 (cs.AI)；计算与语言 (cs.CL)；计算机与社会 (cs.CY) |
| ACM 分类： | H.1.2; I.2.7; J.4 |
| 引用方式： | arXiv:2611.14333 [cs.HC] |
| （本版本为 arXiv:2611.14333v1 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2611.14333 arXiv 已通过 DataCite 签发 DOI（注册中） |
提交历史
来自：Di Zhu [查看邮件]
[v1]
2026 年 11 月 10 日 星期二 16:56:16 UTC（128 KB）
来源：arXiv cs.AI · arxiv.org