SWE-Skills-Bench 基准发现 Agent Skills 对软件工程任务收益有限
热点事件持续更新
SWE-Skills-Bench 基准发现 Agent Skills 对软件工程任务收益有限
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Tingxu Han 等研究者发布 swe-skills-bench 基准,评估 Agent Skills 对真实软件工程任务的实际效用,结论是收益有限:98 个公开技能中 92 个没有统计显著效果,添加技能后平均通过率仅从 76.6% 升到 76.9%。 该基准基于 98 个公开技能和固定 commit 的 GitHub 仓库,在 4 种智能体-模型配置下共完成 3,920 组配对评测,代码已公开。
AI 根据报道生成 · 59 分钟前更新
最新进展10月28日 12:00
SWE-Skills-Bench:评测 Agent Skills 在真实软件工程中的实际作用报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.AI精选SWE-Skills-Bench:评测 Agent Skills 在真实软件工程中的实际作用
研究者发布 swe-skills-bench,一个衡量单个 Agent Skill 对真实软件工程任务提升的基准,基于 98 个公开技能和固定 commit 的 GitHub 仓库,在 4 种智能体-模型配置下完成 3,920 组配对评测。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。