ALE 基准发布：评估智能体长程经济价值任务

Agents' Last Exam（ALE）论文作者团队在 arXiv 发布该基准，用于评估 AI 智能体在长时程、有经济价值、结果可验证的真实任务上的表现。论文指出，广泛基准上的成绩尚未转化为经济上有意义的部署，问题主要出在评估环节。 ALE 与 250 多位行业专家合作开发，覆盖参照美国职业分类 O*NET/SOC 2018 定义的非体力型行业。当前结果显示，最难层级远未饱和：在主流框架与骨干模型配置下，平均完全通过率低于 1%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。