arXiv 论文：LLM 多实例处理存在显著实例顺序偏差，最好与最差顺序准确率相差约 90 个百分点
Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing
AI 导读
一篇 arXiv 论文（arXiv:2610.29057）研究 LLM 的多实例处理（MIP），即模型对多条独立输入（如评论或帖子）聚合出单一答案的任务。作者在 5 个数据集、7 种实例顺序模式下评估 15 个 LLM，发现准确率在最好与最差顺序间相差约 90 个百分点；多数标签实例位于开头时模型更准。推理轨迹更多提及靠前的实例，归因分数在开头和结尾更高，表明实例顺序会系统性偏置聚合预测。
来源：arXiv cs.AI · arxiv.org