NeurIPS 2026论文提出基准难度度量视角及BenchFill算法

Yifan Sun等人在一篇NeurIPS 2026论文中提出将benchmark视为对难度的经验性度量的评估视角，并形式化两类失败模式——度量失配与覆盖缺口，给出两个有理论保证的诊断指标。 基于对横跨7个领域的25个流行基准的分析，研究发现部分基准隐式偏重某些难度区间、部分在难度轴上存在大片未覆盖区域，其排行榜结论需谨慎解读。作者还提出难度定向的题目改写算法BenchFill，称其可有效减少局部覆盖缺口。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。