Ai2发布研究：LLM评判科研想法新颖性不可靠

Ai2（Allen Institute for AI）发布《Old Ideas, Novel Problems》研究、新颖性评判基准、数据、代码及自动构建评测集的流水线，检验大模型作为 novelty judge 评估科研想法新颖性的可靠性，结论是大模型在这方面的判断并不可靠。 Ai2 称，该基准和可复用的数据流水线只是一个起点，研究人员可以将其应用于新的同行评审、其他科研社群以及未来更新一代的新颖性评判模型。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。