研究称学习式批评清单可降低同行评审抽签误差
热点事件持续更新
研究称学习式批评清单可降低同行评审抽签误差
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Xuanyou Liu 等在 arXiv 论文(arXiv:2610.28666)中提出:同行评审存在“评审员抽签误差”,即少数评审员只关注论文的部分问题;他们用从历史评审语料中学习的批评清单来显式提示评审要点,以减少这一误差,并构建了 LLM 辅助的清单树生成流程。 效果来自模拟与人类实验:在 NeurIPS 2021 和 ICLR 2022 评审数据的模拟中,清单使三位评审员委员会的 MSE 分别降低 58% 和 21%;20 人的人类实验中,论文排序 MSE 从 0.48 降至 0.22。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
学习式清单降低科学同行评审中的抽签效应(arXiv 论文)报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv cs.AI学习式清单降低科学同行评审中的抽签效应(arXiv 论文)
一项 arXiv 研究提出用从历史评审语料学习的批评清单来减少同行评审中的“评审员抽签误差”,并构建了 LLM 辅助的清单树生成流程。在 NeurIPS 2021 和 ICLR 2022 评审数据的模拟实验中,清单使三位评审员委员会的 MSE 分别降低 58% 和 21%;20 人的人类实验中,论文排序 MSE 从 0.48 降至 0.22。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。