跳到正文
热点事件持续更新

FrontierHarness v1.1 跨模型 harness 榜单发布

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Guanlan Dai 团队发布 FrontierHarness v1.1 排行榜,将此前仅在单一模型上给 harness 排名的 v1.0 扩展为 21 个 harness × 5 个模型 × 62 项任务的跨模型评测,回答“切换模型时是否也应切换 harness”这一问题。团队称为此投入了最多 100B tokens、26,040 次 agent 运行。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. @yetone
    Alma 现身 FrontierHarness v1.1 排行榜,@yetone 激动帮转

    Guanlan Dai 团队动用高达 100B tokens、26,040 次 agent 运行,回答一个问题:切换模型时是否也应切换 harness。其 FrontierHarness 排行榜 v1.0 只在单一模型上排名 harness,v1.1 扩展为 21 个 harness × 5 个模型 × 62 个任务 × 4。Alma 的亮相被 @yetone 转发。

  2. @yetone
    FrontierHarness v1.1 评测横跨 21 个 harness × 5 个模型 × 62 项任务

    Guanlan Dai 团队用最多 100B tokens、26,040 次 agent 运行,回答“换模型时是否也要换 harness”。其 v1.0 FrontierHarness 排行榜只在单一模型上给 harness 排名,v1.1 扩展到 21 个 harness × 5 个模型 × 62 项任务。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。