发布 Multi-step SWE 长程编码基准
热点事件持续更新
发布 Multi-step SWE 长程编码基准
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Xiangkai Zeng、Zheng Liu、Zihao Lin 等研究者发布长程编码基准 Multi-step SWE，包含 69 个软件工程任务，基准与代码已公开。在测试的九个前沿模型中，最强模型的解决率仅 18.5%，69 个任务中有 38 个无任何模型解决。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
Multi-step SWE 基准发布，最强模型长链任务解决率仅 18.5%报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AIMulti-step SWE 基准发布，最强模型长链任务解决率仅 18.5%
研究者发布 Multi-step SWE 长程基准，含 69 个软件工程任务，每个任务是在单一代码库上 5-15 步的依赖链，后续步骤须基于智能体此前生成的代码，覆盖四类工程工作和九种语言。九个前沿模型中最强模型解决率仅 18.5%，69 个任务中有 38 个无任何模型解决，基准与代码已公开。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。