跳到正文
热点事件持续更新

WorkWorlds基准:环境构建方式显著影响Agent评测成绩

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yining Hua 与 Levi Lian 发布 WorkWorlds 基础设施和论文,用真实制药公司数据重建 PharmaCo 环境,通过 192 次受控评测量化任务环境构建方式对 Agent 评测成绩的影响。两位各有十余年经验的专家分别为同一批任务独立构建环境进行对比。 结果显示环境构建方式会明显改变评测成绩:当 Agent 从任务专用环境切换到员工真实可见的全部材料时,证据获取率从 90.4% 降至 72.8%;同一任务在两位专家分别构建的环境间切换,通过率平均相差 6.6 个百分点。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    WorkWorlds 论文测量环境构建方式对智能体评测成绩的影响

    Yining Hua 与 Levi Lian 发布 WorkWorlds 基础设施,用真实制药公司数据重建 PharmaCo,两位各十余年经验的专家各写 8 个任务并独立构建环境,共完成 192 次受控评测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。