跳到正文
arXiv cs.AI· Lorenz Brehme, Benjamin Steenhoek, Ruth Breu·· 2 小时前AI 评分36

SWE-DIVE:基于动态用户模拟的多轮编程智能体评测框架

SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation

AI 导读

研究者提出 SWE-DIVE,一个面向编程智能体的多轮动态评测框架,弥补 SWE-bench 等一次性、格式良好输入基准的不足。框架引入可模拟不同行为模式的用户模拟器与对话验证器,判断模拟输出是否满足初始需求并引导智能体完成任务。整体框架嵌入 Harbor 环境中编排执行,结果与源代码已在 GitHub 开放。

来源:arXiv cs.AI · arxiv.org