跳到正文
热点事件持续更新

发布SWE-Shift基准:测编码Agent应对执行中变化

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究者在arXiv发布SWE-Shift基准,用于评估编码智能体在任务执行过程中遭遇代码、依赖、运行时状态等变更时的表现。基准包含120个场景、12类变更族,每个场景在9个预定的干预位置进行评测。 研究者用该基准测试了17个编码Agent系统,结果显示所有系统的“变化场景”成功率均低于“干净场景”成功率。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.AI
    SWE-Shift 基准:评估编码智能体在执行中环境变化下的表现

    SWE-Shift 是一个评估编码智能体在任务执行中遭遇代码、依赖、运行时状态等变更时表现的基准,包含 120 个场景、12 类变更族,每个场景在 9 个干预位置评测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。