LongReasonArena长推理基准发布:GPT-5仅27.8%准确率
热点事件持续更新
LongReasonArena长推理基准发布:GPT-5仅27.8%准确率
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
LongReasonArena 的作者团队在 arXiv 发布了专门评估大语言模型长推理能力的基准 LongReasonArena,要求模型执行检索、回溯等多步算法解题,推理长度可通过控制输入任意扩展,最难题目可达 100 万 token 推理。代码与数据已公开。 论文结果显示,开源与闭源模型在该基准上均表现不佳,GPT-5 在 Level 3 上的准确率仅 27.8%;准确率随预期推理步数的对数呈线性下降。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 13:00
LongReasonArena:评估大语言模型长推理能力的基准报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- arXiv cs.AILongReasonArena:评估大语言模型长推理能力的基准
LongReasonArena 是一个专门评估大语言模型长推理能力的基准,要求模型执行检索、回溯等多步算法来解题,推理长度可通过控制输入任意扩展,最难题目可达 100 万 token 推理。开源与闭源模型均面临显著挑战,GPT-5 在 Level 3 上准确率仅 27.8%。分析显示准确率随预期推理步数的对数呈线性下降,代码与数据已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。