发布CivBench长程工具中介Agent基准

研究者发布开源基准 CivBench，通过 MCP 协议在《文明 VI》中评测大语言模型智能体的长时程能力：单局可超 300 回合、产生数千次工具调用，环境提供 76 个 MCP 工具，并配套 PMR、RAG@10 等指标。 在 4 个模型家族、23 次运行的试点中，团队发现智能体每 30-75 回合才查询一次胜利进度（低于指南要求的每 20 回合），自定规划承诺的执行率 RAG@10 仅为 48.2%-65.8%。作者明确说明该样本是试点而非模型排名，现有规模下聚合结果尚不能可靠区分各模型。环境、场景、日志、指标与分析流程均已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。