arXiv 论文解析多智能体 LLM 中协调、集成与测试时计算的混淆
More Agents, More Samples, or More Thinking? Untangling Coordination, Ensembling, and Test-Time Compute in Multi-Agent LLMs
AI 导读
arXiv 论文综合九项实证评估共 516 个多智能体配置,发现此前评估常把协调收益与样本数量和推理计算混在一起。在按样本数或资源预算匹配基线时,多智能体系统准确率平均为 -0.042,74% 的可比对比中等于或低于基线;正收益需要分治证据、外部验证或跨模型误差多样性。论文提供审稿清单 pace CLI 与复现数据。
推荐理由
研究综合九项实证评估,指出多智能体对比基线不匹配时收益被高估,并提供审稿清单和核算工具,可帮助读者更严谨地评估多智能体系统。
正文 · AI 翻译
摘要:多智能体语言模型的评估通常将具备通信能力的架构与单次贪心推递(greedy pass)进行比较。这种做法将协作与样本多样性及推理算力混为一谈。我们综合了九项主要实证评估,包含 516 个独特的多智能体配置,并沿一个六维资源向量 R 和一个含四个类别的基线阶梯进行组织。与单次推递基线(类别 A)相比,多智能体的准确率差异总体为负,在剔除贡献最大的研究后接近于零。在与样本数量匹配(类别 B)或资源预算匹配(类别 C)的基线比较时,多智能体系统的准确率平均为 -0.042,且在几率的对数尺度上的多水平随机效应建模在各敏感性检验中均为负值。在这些可比较的对比中,74% 的情况下多智能体的准确率等于或低于基线,且几乎所有被评估研究的均值均为非正值。在同时报告两种基线的研究中,从贪心推递切换到采样基线会使准确率差异平均变动 -0.038。由于当智能体共享完全相同的证据时,通信不会增加任何信息,因此正收益需要分区证据、外部验证或跨模型的误差多样性。我们提供了评审人检查清单和核算工具。
| 评论: | 43 页,11 幅图,13 张表。PACE 评审人检查清单、评估工具(pace CLI)及复现数据见 此 https URL |
| 学科: | 人工智能 (cs.AI);计算与语言 (cs.CL);机器学习 (cs.LG);多智能体系统 (cs.MA) |
| ACM 分类: | I.2.11; I.2.7 |
| 引用格式: | arXiv:2611.17610 [cs.AI] |
| (本版本为 arXiv:2611.17610v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.17610 arXiv 通过 DataCite 签发的 DOI(注册中) |
提交历史
来自:Seyed Mahmoud Sajjadi Mohammadabadi [查看邮件]
[v1]
2026 年 11 月 13 日 星期五 00:18:25 UTC (478 KB)
来源:arXiv cs.AI · arxiv.org