跳到正文
Hacker News· algoth1·· 4 小时前AI 评分52

SimpleBench 基准:普通人类 83.7% 胜过 Claude Fable 等 SOTA 大语言模型

Astra 6.2 and Sol 6.2 flop at Simple Bench

AI 导读

SimpleBench 是一个多项选择题文本基准,覆盖时空推理、社会智能和语言对抗鲁棒性(刁钻问题),超过 200 题,高中知识水平的普通人得分 83.7%,超过所有被测大语言模型,包括得分 81.9% 的顶尖模型 Claude Fable。作者认为这说明前沿模型依赖的记忆化知识和近似推理检索尚不足以回答一些基础问题,完整技术报告见 simple-bench.com。

来源:Hacker News · simple-bench.com