学习式清单降低科学同行评审中的抽签效应(arXiv 论文)
Learning Checklists to Reduce Lottery Effects in Scientific Peer Review
AI 导读
一项 arXiv 研究提出用从历史评审语料学习的批评清单来减少同行评审中的“评审员抽签误差”,并构建了 LLM 辅助的清单树生成流程。在 NeurIPS 2021 和 ICLR 2022 评审数据的模拟实验中,清单使三位评审员委员会的 MSE 分别降低 58% 和 21%;20 人的人类实验中,论文排序 MSE 从 0.48 降至 0.22。
来源:arXiv cs.AI · arxiv.org