研究者提出用次模覆盖目标为语言模型评测挑选少量基准
热点事件持续更新
研究者提出用次模覆盖目标为语言模型评测挑选少量基准
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
一项 arXiv 研究（Submodular Benchmark Selection）提出用覆盖率目标为语言模型评测挑选少量最有信息量的基准，用这些基准的得分预测其余基准的得分。研究给出两种覆盖目标：explained variance 和 facility location。 基于 11 个公开评测得分矩阵的比较显示，在相关性可估计时 explained variance 对 held-out 模型的预测效果最好；facility location 预测力接近 explained variance，在新增模型和真实成本下依然稳健，并具有经典的理论保证。
AI 根据报道生成 · 2 小时前更新
最新进展11月14日 13:00
次模基准选择：如何为语言模型评测挑选最有信息量的基准报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AI次模基准选择：如何为语言模型评测挑选最有信息量的基准
该研究提出用覆盖率目标（explained variance 与 facility location）为语言模型评测挑选少量基准，以预测其余基准得分。基于 11 个公开评测得分矩阵，覆盖率目标在相关性可估计时对 held-out 模型的预测效果最好；facility location 预测力接近 explained variance，且在新增模型和真实成本下依然稳健，并具有经典的理论保证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。