跳到正文
热点事件持续更新

研究提出固定预算下收窄LLM评测置信区间的框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yezhou Cheng 等在 arXiv 发布论文,提出一个在固定评测预算下分配任务与重复运行的 LLM 评测框架,利用同一任务多次运行间的分歧界定估计误差,在相同置信水平下获得比均匀随机采样更窄的置信区间。论文理论证明当各任务重复运行结果一致时,该框架在最坏情形下达到理论最快收窄速率。 实证结果来自 LiveCodeBench:在每配置 1,100 个输出的预算下,16 个模型配置中有 15 个的区间宽度比均匀随机采样更窄,中位宽度减少 30.6%。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    LLM 固定预算下的高效评估框架:如何获得更窄的置信区间

    一项 arXiv 研究提出在固定评估预算下分配任务与重复运行的 LLM 评估框架,利用同一任务多次运行间的分歧界定估计误差,在相同置信水平下获得更窄的置信区间。理论证明当各任务重复运行结果一致时,该框架在最坏情形下达到理论最快收窄速率。在 LiveCodeBench 上,16 个模型配置中的 15 个区间宽度较均匀随机采样更窄,中位宽度减少 30.6%,每个配置预算为 1,100 个输出。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。