跳到正文
热点事件持续更新

ProteinGeoBench基准显示前沿模型查询强、几何计算弱

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Matt Turk 等研究人员在 arXiv 发布蛋白质结构智能体基准 ProteinGeoBench,包含 131 项任务(查询已知事实、核对序列、从原子坐标计算几何、推理结构),对 4 个前沿模型每项任务多次运行共 4,249 次,并对 26 个模型测试子集。结果显示前沿模型擅长查询但不擅长几何计算:Claude Opus 5 查询得分 0.907、坐标计算仅 0.716;全部四个模型都失败的 12 个任务中一半是计算题,Gemini 3.1 Pro 是例外。 消融实验(15 个任务子集)显示,屏蔽 8 个结构数据库会降低得分,断开网络访问后得分降幅更大。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    ProteinGeoBench 论文显示前沿结构生物学智能体擅长查询但不擅长几何计算

    论文提出 ProteinGeoBench,包含 131 项蛋白质结构任务,共运行 4,249 次,评估 4 个前沿模型并另测 26 个模型。Claude Opus 5 查询得分 0.907、坐标计算仅 0.716,Gemini 3.1 Pro 是例外;全部四个模型都失败的 12 个任务中一半是计算题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。