跳到正文
热点事件持续更新

SWE-Skills-Bench 基准发现 Agent Skills 对软件工程任务收益有限

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Tingxu Han 等研究者发布 swe-skills-bench 基准,评估 Agent Skills 对真实软件工程任务的实际效用,结论是收益有限:98 个公开技能中 92 个没有统计显著效果,添加技能后平均通过率仅从 76.6% 升到 76.9%。 该基准基于 98 个公开技能和固定 commit 的 GitHub 仓库,在 4 种智能体-模型配置下共完成 3,920 组配对评测,代码已公开。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI精选
    SWE-Skills-Bench:评测 Agent Skills 在真实软件工程中的实际作用

    研究者发布 swe-skills-bench,一个衡量单个 Agent Skill 对真实软件工程任务提升的基准,基于 98 个公开技能和固定 commit 的 GitHub 仓库,在 4 种智能体-模型配置下完成 3,920 组配对评测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。