发布SWE-Shift基准:测编码Agent应对执行中变化
热点事件持续更新
发布SWE-Shift基准:测编码Agent应对执行中变化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者在arXiv发布SWE-Shift基准,用于评估编码智能体在任务执行过程中遭遇代码、依赖、运行时状态等变更时的表现。基准包含120个场景、12类变更族,每个场景在9个预定的干预位置进行评测。 研究者用该基准测试了17个编码Agent系统,结果显示所有系统的“变化场景”成功率均低于“干净场景”成功率。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
SWE-Shift 基准:评估编码智能体在执行中环境变化下的表现报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.AISWE-Shift 基准:评估编码智能体在执行中环境变化下的表现
SWE-Shift 是一个评估编码智能体在任务执行中遭遇代码、依赖、运行时状态等变更时表现的基准,包含 120 个场景、12 类变更族,每个场景在 9 个干预位置评测。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。