arXiv cs.AI· Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, Changchang Li, Bowen Liu, Kun Jiang, Mengjie Zhang, Dingcheng Shan, Jing-Cheng Pang, Chenwei Wu, Sijie Wu, Lianying Chao, Haoran Cai, Jiantao Ye, Xubin Li, Simon Mark Lucas, Xin Chen·· 2 小时前AI 评分39
CTBench：评估 AI 智能体在真实电信网络运维中的故障排查能力
CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
AI 导读
研究者推出 CTBench 公开基准，评估 AI 智能体在电信网络运维中的根因分析（RCA）与路径恢复能力，基准由领域专家构建，包含丰富元数据和黄金证据轨迹，指标同时衡量最终准确率与诊断推理。对最先进智能体的评估显示，它们擅长路径端点识别，但在 RCA 上严重不足，即使答对也常未能收集运维实践所需的诊断证据；研究还表明增加计算开销并不能保证诊断能力提升。
来源：arXiv cs.AI · arxiv.org