研究揭示LLM多实例处理存在显著实例顺序偏差
热点事件持续更新
研究揭示LLM多实例处理存在显著实例顺序偏差
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Jingxuan Chen、Mohammad Taher Pilehvar 和 Jose Camacho-Collados 在 arXiv 论文(arXiv:2610.29057)中发布研究称:LLM 处理多条独立输入并聚合单一答案(多实例处理,MIP)时,实例顺序会造成显著偏差,最好与最差顺序的准确率相差约 90 个百分点。 作者在 5 个数据集、7 种实例顺序模式下评估 15 个 LLM,每组实例集在各顺序模式下保持不变。结果显示:多数标签实例位于开头时模型更准确;推理轨迹更多提及靠前的实例,归因分数在开头和结尾更高,表明实例顺序会系统性偏置聚合预测。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
arXiv 论文:LLM 多实例处理存在显著实例顺序偏差,最好与最差顺序准确率相差约 90 个百分点报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv cs.AIarXiv 论文:LLM 多实例处理存在显著实例顺序偏差,最好与最差顺序准确率相差约 90 个百分点
一篇 arXiv 论文(arXiv:2610.29057)研究 LLM 的多实例处理(MIP),即模型对多条独立输入(如评论或帖子)聚合出单一答案的任务。作者在 5 个数据集、7 种实例顺序模式下评估 15 个 LLM,发现准确率在最好与最差顺序间相差约 90 个百分点;多数标签实例位于开头时模型更准。推理轨迹更多提及靠前的实例,归因分数在开头和结尾更高,表明实例顺序会系统性偏置聚合预测。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。