你的基准测试是对难度的一种经验性度量
Your Benchmark Is an Empirical Measure Over Difficulty
AI 导读
一篇 NeurIPS 2026 论文提出将 benchmark 视为对难度的经验性度量的评估视角，并形式化两类失败模式：度量失配与覆盖缺口，给出两个有理论保证的诊断指标。研究分析了横跨 7 个领域的 25 个流行基准，发现部分基准隐式偏重某些难度区间、部分在难度轴上存在大片未覆盖区域，其排行榜结论需谨慎解读。作者还提出难度定向的题目改写算法 BenchFill，可有效减少局部覆盖缺口。
来源：arXiv cs.AI · arxiv.org