SWE-DIVE:基于动态用户模拟的多轮编程智能体评测框架
SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
AI 导读
研究者提出 SWE-DIVE,一个面向编程智能体的多轮动态评测框架,弥补 SWE-bench 等一次性、格式良好输入基准的不足。框架引入可模拟不同行为模式的用户模拟器与对话验证器,判断模拟输出是否满足初始需求并引导智能体完成任务。整体框架嵌入 Harbor 环境中编排执行,结果与源代码已在 GitHub 开放。
来源:arXiv cs.AI · arxiv.org