SPU基准发布：测试AI预测湿实验结果的能力

Science Prediction Universe 团队在 arXiv 发布 SPU 基准，用于测试智能体在结果未知情况下预测真实湿实验结果的能力。基准包含覆盖化学、材料科学、生物与医学的 100 个公开已验证任务，以及 16 个来自未发表湿实验的私有任务。 团队用 Codex 和 Claude Code 两种运行环境评测了 12 个前沿模型的 13 种智能体配置，结果按任务调整后的 Spearman 相关系数介于 0.227（最低配置）到 0.478（最佳配置）之间。

AI 根据报道生成 · 38 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。