arXiv cs.AI· Jiayi Kuang, Yinghui Li, Yunze Song, Keyu Chen, Zhifeng Shen, Yangning Li, Yidong Wang, Di Yin, Ruizhi Qiao, Xing Sun, Kai Jin, Ying Shen, Liang Lin, Philip S. Yu·· 2 小时前AI 评分34
从原子能力到智能体：可解释评估 LLM 智能体数学能力的过程级基准
From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities
AI 导读
研究者提出一个过程级基准，通过将解题智能体行为映射到可复用的数学原子能力分类体系，评估 LLM 的智能体数学推理能力。该框架涵盖文本与多模态情境下的规划、行动、反馈任务，并由自动化流水线合成高质量轨迹与细粒度标注。实验显示端到端准确率相近的模型可能呈现差异显著的智能体能力画像。
来源：arXiv cs.AI · arxiv.org