跳到正文
arXiv cs.AI· Xuanyou Liu, Ziyang Guo, Jason Hartline, Jessica Hullman·· 2 小时前AI 评分47

学习式清单降低科学同行评审中的抽签效应(arXiv 论文)

Learning Checklists to Reduce Lottery Effects in Scientific Peer Review

AI 导读

一项 arXiv 研究提出用从历史评审语料学习的批评清单来减少同行评审中的“评审员抽签误差”,并构建了 LLM 辅助的清单树生成流程。在 NeurIPS 2021 和 ICLR 2022 评审数据的模拟实验中,清单使三位评审员委员会的 MSE 分别降低 58% 和 21%;20 人的人类实验中,论文排序 MSE 从 0.48 降至 0.22。

来源:arXiv cs.AI · arxiv.org