跳到正文
热点事件持续更新

发布STEMBench:测大模型博士后级科研能力

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

arXiv论文作者发布科研基准STEMBench,用高能物理、天体物理和神经科学十二个博士后级科研问题测试大语言模型,每个问题按所在领域的评估指标打分,任务、评分器、锚点和运行框架已开源。 每个问题附两个锚点:无领域知识提交和复现已发表方法的专家参考。在八个前沿模型中,任务级胜出与领域级领先出现分离;高强度对比下至少一个模型在十二个任务中的七个平均分超过专家锚点,其余五个涉及不确定性估计、潜在与因果推断和跨站点临床分类。

AI 根据报道生成 · 30 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    STEMBench 基准测试大语言模型在博士后级自然科学问题上的能力

    arXiv 论文 STEMBench 用各领域自身评估指标测试大语言模型在高能物理、天体物理和神经科学十二个博士后级科研问题上的能力。每个问题附无领域知识提交和复现已发表方法的专家参考两个锚点;八个前沿模型中,任务级胜出与领域级领先分离,高强度对比下至少一个模型在十二个任务中的七个平均分超过专家锚点,其余五个涉及不确定性估计、潜在与因果推断和跨站点临床分类。任务、评分器、锚点和运行框架已开源。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。