发布核领域推理基准 NEBench R1
热点事件持续更新
发布核领域推理基准 NEBench R1
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
Liyan Wang 等研究者发布推理基准 NEBench R1,从美国核管理委员会(NRC)反应堆操作员执照考试中提取 7,546 道选择题,覆盖 18 个核设施,并以官方解释作为推理评估参考。 对 6 个大语言模型的测试显示,整体准确率在 34.0% 到 73.9% 之间。研究者的基于 LLM 评判的推理质量评估称,模型答对题并不等于推理技术上可靠,且更长的推理链与更低准确率相关;推理 token 消耗可作为识别不可靠回答的信号。
AI 根据报道生成 · 35 分钟前更新
最新进展11月18日 13:00
NEBench R1:用于评估大语言模型核工程领域能力的推理基准报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AINEBench R1:用于评估大语言模型核工程领域能力的推理基准
研究者推出推理基准 NEBench R1,包含从美国核管理委员会(NRC)反应堆操作员执照考试提取的 7,546 道选择题,覆盖 18 个核设施,并用官方解释作为推理评估参考。对 6 个大语言模型的测试显示整体准确率在 34.0% 到 73.9% 之间;基于 LLM 评判的推理质量评估发现,答对并不等于推理技术可靠,且更长的推理链与更低准确率相关,推理 token 消耗可作为识别不可靠回答的信号。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。