跳到正文
热点事件持续更新

SimpleBench 基准发布:人类基线 83.7% 超过顶级模型

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

SimpleBench 团队发布了一个 200 多题的大语言模型多选文本基准,覆盖时空推理、社会智能和语言对抗鲁棒性(刁钻问题)。结果显示,仅具高中知识水平的普通人类基线得分 83.7%,超过所有被测模型,包括得分 81.9% 的顶尖模型 Claude Fable。 据作者介绍,这 83.7% 的人类基线仅基于 9 名参与者的小样本测得。作者认为这一结果说明前沿模型依赖的记忆化知识和近似推理检索,尚不足以回答一些基础问题。完整技术报告见 simple-bench.com。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. Hacker News
    SimpleBench 基准:普通人类 83.7% 胜过 Claude Fable 等 SOTA 大语言模型

    SimpleBench 是一个多项选择题文本基准,覆盖时空推理、社会智能和语言对抗鲁棒性(刁钻问题),超过 200 题,高中知识水平的普通人得分 83.7%,超过所有被测大语言模型,包括得分 81.9% 的顶尖模型 Claude Fable。作者认为这说明前沿模型依赖的记忆化知识和近似推理检索尚不足以回答一些基础问题,完整技术报告见 simple-bench.com。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。