发布kw-bench基准：用真实VAT重建任务评测coding-agent harness
热点事件持续更新
发布kw-bench基准：用真实VAT重建任务评测coding-agent harness
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
论文作者 George Juraj Salapa 发布 kw-bench 基准，用真实审计场景构建任务，并以同一模型评测四个 coding-agent harness。首个任务族要求从三代 SAP 系统（ECC、部分迁移的 S/4HANA 及顾问重设计）的原始导出中做五年 VAT 重建。 评测中，四个 harness——Claude Code、Codex、OpenCode 和 micro-cc——在相同模型 DeepSeek v4.1 Flash 上各运行两小时。评分采用确定性方式，不使用 LLM 评审。作者称，在前沿模型上该任务会崩溃（collapse）。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
kw-bench：用真实世界任务测试前沿 coding-agent harness报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIkw-bench：用真实世界任务测试前沿 coding-agent harness
kw-bench 是一个基于真实审计场景构建的基准，首个任务族是从三代 SAP 系统（ECC、部分迁移的 S/4HANA 及顾问重设计）的原始系统导出中做五年 VAT 重建，采用确定性评分、不用 LLM 评审。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。