Stanford团队提出基准维护债，审计Terminal-Bench 2.0并发布修复版2.1

Stanford 的 Buchanan 等研究者在 arXiv 发文提出“基准维护债”概念，给出结合社区报告、oracle 检查与人工把关的持续验证流程，并用该流程审计 Terminal-Bench 2.0，发现约 30% 任务存在缺陷，据此发布修复版 Terminal-Bench 2.1。 修复后准确率提升超 10 个百分点，榜单名次最多变动三位，但整体排序仍高度相关（Spearman rho = 0.958）。该团队称，延长时限可消除 GPT 5.4 上 20 个百分点的 harness 差距，并将 GPT 5.4 mini 上 30 个百分点的差距缩小到 5 个百分点。 值得注意的是，Terminal-Bench 2.0 发布前已经过大量人工与模型辅助审查及红队测试，此次审计仍发现大量缺陷，被该论文用作说明基准需持续维护的例证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。