跳到正文
danshipper· Dan Shipper·· 2 小时前AI 评分42

Ramez Naam 分析:AI 基准测试最重要的图表可能是错的

great piece benchmarks have to choose what to measure and what to keep constant—numbers go up doesn't always mean what you think it means another goo...

AI 导读

Dan Shipper 称赞 Ramez Naam 的一篇分析,指出基准测试必须选择测量什么、固定什么,数字上升并不总是意味着你以为的含义。Naam 认为“AI 最重要的图表是错的”:衡量 AI 能自主完成的任务长度的指标,与来自 OpenAI 和 Google 内部的真实世界数据差异巨大。

来源:danshipper · x.com