arXiv cs.AI· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 1 天前AI 评分49
FDE-Bench：评估 AI 智能体端到端交付模糊真实业务需求的新基准
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
AI 导读
研究者推出 FDE-Bench，首个基于真实客户项目构建的基准，用于评估 AI 智能体在需交互式需求澄清与迭代优化的端到端交付任务上的表现。基准包含 49 个涵盖组合优化与机器学习的案例，智能体需从模拟客户处挖掘缺失需求，并由专属评估器按客户验收标准打分。
来源：arXiv cs.AI · arxiv.org