跳到正文
热点事件持续更新

发布核领域推理基准 NEBench R1

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Liyan Wang 等研究者发布推理基准 NEBench R1,从美国核管理委员会(NRC)反应堆操作员执照考试中提取 7,546 道选择题,覆盖 18 个核设施,并以官方解释作为推理评估参考。 对 6 个大语言模型的测试显示,整体准确率在 34.0% 到 73.9% 之间。研究者的基于 LLM 评判的推理质量评估称,模型答对题并不等于推理技术上可靠,且更长的推理链与更低准确率相关;推理 token 消耗可作为识别不可靠回答的信号。

AI 根据报道生成 · 35 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    NEBench R1:用于评估大语言模型核工程领域能力的推理基准

    研究者推出推理基准 NEBench R1,包含从美国核管理委员会(NRC)反应堆操作员执照考试提取的 7,546 道选择题,覆盖 18 个核设施,并用官方解释作为推理评估参考。对 6 个大语言模型的测试显示整体准确率在 34.0% 到 73.9% 之间;基于 LLM 评判的推理质量评估发现,答对并不等于推理技术可靠,且更长的推理链与更低准确率相关,推理 token 消耗可作为识别不可靠回答的信号。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。