arXiv cs.AI· Yanki Margalit, Nurit Cohen-Inger, Erni Avram, Ran Taig, Seffi Cohen, Oded Margalit·· 1 天前AI 评分49
Agents-as-Peers：以多智能体同行互评实现偏差可控的 LLM 评测
Agents-as-Peers: Bias-Controlled LLM Evaluation as Multi-Agent Peer Assessment
AI 导读
Agents-as-Peers 是一种分布式 LLM 评测协议：每个智能体生成任务、作答并互评同伴答案，不设特权评测者，自我评分不计入排名。在 12 个 LLM、420 道智能体生成问题的实例中，每个 regime 聚合 55,440 条非自我同伴判断，测得自评偏高、可见身份影响分数、首个固定答题位得分比打乱基线高 0.39 分等偏差。
来源：arXiv cs.AI · arxiv.org