发布自动驾驶化学实验室具身基准BEAKER

研究者发布 BEAKER，一个评估自动驾驶化学实验室中具身可操作性、知识、实验与推理能力的基准，包含 1,000 条由化学与具身 AI 专家人工策划、未经 AI 辅助生成的问答样本，覆盖 11 种图像与视频任务类型。 团队以离线单轮设置评测了 28 个通用、科学、化学专用及具身多模态大模型，结果显示当前模型能跟随视频中的粗略实验流程，但在把动作落地到可操作区域与可行轨迹、识别细粒度器材与安全规范、排序中长流程步骤上仍有明显差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。