跳到正文
热点事件持续更新

发布Hearsay基准审计Agent运行记录可信度

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

论文作者发布Hearsay基准与第二写入者沙盒,评估外部审计者能否核查由agent harness写下的运行记录,发现十六个框架中harness均是唯一记录者,模型审查员声称得到佐证的证据中有18到55个百分点超出标签支持。该基准检验的是记录本身而非任务:五个harness运行十四个任务,三家厂商的模型审查员和人类评审小组阅读记录并回答问题,其引用的每段文字按写入者机械标注。 在特定条件下该沙盒表现较好:在由第三家厂商模型驱动、且所有规则在记录生成前已提交的运行中,报告66处改动中的64处、未误报84条干净记录;在五种格式的留存记录上报告115处中的109处。代码与数据已公开。

AI 根据报道生成 · 32 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Hearsay 基准研究:谁才能审计部署中的 Agent harness 写下的运行记录

    arXiv 论文提出 Hearsay 基准,研究外部审计者能否核查由 agent harness 写下的运行记录,发现十六个框架中 harness 均是唯一记录者,模型审查员声称得到佐证的证据中有 18 到 55 个百分点超出标签支持。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。