研究显示LLM置信度校准结论受测量协议影响
热点事件持续更新
研究显示LLM置信度校准结论受测量协议影响
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hankyeol Kim 与 Pilsung Kang 在 arXiv 发布论文，考察大语言模型置信度测量对协议的敏感性。他们固定答案、口头化置信度和正确性标签，只改变读取 token 概率的方式，发现测量协议会改变分数本身及两者之间的比较。 在 5 个开源大语言模型和 4 个问答数据集上，改变读取上下文使口头化置信度与 token 置信度的差距发生约等于差距本身大小的偏移（ECE .287 对 .304，AUROC .189 对 .145），20 个设置中有 19 个和 17 个的偏移 95% 区间不包含零。作者据此提出了 LLM 置信度及其比较的报告清单。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
LLM 置信度校准研究：同样答案因测量协议不同而置信度迥异报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AILLM 置信度校准研究：同样答案因测量协议不同而置信度迥异
一项 arXiv 研究考察 LLM 答案置信度的测量协议敏感性，在 5 个开源大语言模型和 4 个问答数据集上发现，改变读取 token 概率的上下文会使口头化置信度与 token 置信度的差距发生约等于差距本身大小的偏移（ECE .287 对 .304，AUROC .189 对 .145）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。