arXiv cs.AI· Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu·· 2 小时前精选AI 评分60
SWE-Skills-Bench：评测 Agent Skills 在真实软件工程中的实际作用
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
AI 导读
研究者发布 swe-skills-bench，一个衡量单个 Agent Skill 对真实软件工程任务提升的基准，基于 98 个公开技能和固定 commit 的 GitHub 仓库，在 4 种智能体-模型配置下完成 3,920 组配对评测。
推荐理由
论文用 3920 组配对实验量化单个 Agent Skill 的实际收益，发现 98 个技能中 92 个无显著作用，可帮助理性评估技能引入方式。
正文 · AI 翻译
摘要：Agent 技能是一类在推理时注入的结构化程序性知识包，越来越多地被用于增强 LLM agent 在软件工程任务上的能力。然而，它们在端到端开发场景中的实际效用仍不清楚，也没有标准流程在安装前测试单个技能。我们提出了 swe-skills-bench，一个以技能为中心、由需求驱动的基准，用于衡量单个 agent 技能能在多大程度上提升真实软件工程（SWE）任务的表现。我们从 98 个公开的 SWE 技能出发，每个技能都配对一个固定在特定 commit 上的真实 GitHub 仓库。针对每个技能，我们推导出仓库特定的需求、创建可执行的验证器，并构建可复现的环境。在四种 agent-模型配置下，我们对每个任务分别运行一次不带技能和一次带技能，共得到 3,920 组配对评估。对每条需求，我们计算配对差值，即添加技能后结果的变化。随后我们将这些差值在一个技能的十条需求上进行聚合，得到每个技能的效用画像，并使用统计检验将每个技能分类为 Golden（显著有益）、Ineffective（无显著影响）或 Harmful（显著有害）。我们的结果表明，技能带来的收益有限：98 个技能中有 92 个没有统计学上的显著影响，添加技能仅将平均通过率从 76.6% 提高到 76.9%。少数有益的技能提供了 agent 原本会省略的流程（增益最高达 $+17.7$ 分）。相比之下，有害的技能会让 agent 固守其自身模板并覆盖任务的明确指令（损失最高达 -17.0 分）。我们的代码可在 此 https URL 获取。
| 主题： | 软件工程 (cs.SE)；人工智能 (cs.AI) |
| 引用格式： | arXiv:2603.15401 [cs.SE] |
| （本版本为 arXiv:2603.15401v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2603.15401 arXiv-issued DOI via DataCite |
提交历史
来自：Tingxu Han [查看邮件]
[v1]
2026 年 3 月 16 日星期一 15:16:31 UTC（1,343 KB）
[v2]
2026 年 10 月 27 日星期二 09:54:21 UTC（1,279 KB）
来源：arXiv cs.AI · arxiv.org