跳到正文
热点事件持续更新

CHASE方法:检验agent harness改进是否依赖基准捷径

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Guojun Zhu 等发布 arXiv 论文《Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts》,提出反事实引导搜索与进化方法 CHASE,用于检测智能体 harness 的性能改进是否依赖评估协议中的基准捷径。 该方法由 Proposer 修改 harness、Challenger 搜索保持任务语义的协议变换,检验改进在协议变化后是否仍然成立,并给出理想无捷径基准上增益损失上界的理论条件。论文称在 Syn-Ledger、OfficeQA、FinanceBench 和 SWE-Bench Pro V2 上进行了评估。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    CHASE 论文提出反事实引导的智能体 harness 进化方法

    论文提出 Counterfactual Harness Search and Evolution(CHASE),通过 Proposer 修改 harness、Challenger 搜索保持任务语义的协议变换,检验 harness 改进是否依赖基准捷径,并在理想无捷径基准上给出增益损失上界的理论条件。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。