研究者发布SWE-Clar需求澄清基准

研究者发布 SWE-Clar 基准，基于 Upwork 上总付款不低于 4,000 美元的 100 个真实软件开发任务，评测编码智能体在代码实现前澄清客户需求并独立交付全新软件的能力。 基准包含 512 道需求理解问题，参考答案来自真实的客户与自由职业者互动，涵盖明确说明的需求和从对话上下文推断出的需求。数据集和评测代码已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。