arXiv cs.AI· Xinping Wang, Jie Ma, Rui Xing, Wensong Guo, Xiayi Zhang, Jianhao Deng, Zihao Zhou, Boqian Yang, Feijuan He·· 1 天前AI 评分40
MAMath-Bench：面向多智能体数学推理的过程感知鲁棒评测基准
MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning
AI 导读
研究者推出 MAMath-Bench，一个评估多智能体系统（MAS）多模态数学推理能力的过程感知基准，包含 1,003 道题，覆盖 11 个数学类别和文本、图像、音频等模态，并提供细粒度里程碑标注。评测发现：多智能体协作并不总能提升最终答案准确率；协作能扩大中间推理覆盖面但会增加推理冗余；现有系统仍易受对抗性推理错误影响，尤其是细微结构扰动。数据集已公开。
来源：arXiv cs.AI · arxiv.org