Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断科研想法新颖性并不可靠
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布 Old Ideas, Novel Problems 研究、基准与自动化流水线，检验大模型作为 novelty judge 评估科研想法新颖性的可靠性。
推荐理由
Ai2 用真实同行评审构建新颖性评审基准，量化了提示词、检索和推理投入对六个大模型判决的剧烈影响。