发布Hearsay基准审计Agent运行记录可信度
热点事件持续更新
发布Hearsay基准审计Agent运行记录可信度
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
论文作者发布Hearsay基准与第二写入者沙盒,评估外部审计者能否核查由agent harness写下的运行记录,发现十六个框架中harness均是唯一记录者,模型审查员声称得到佐证的证据中有18到55个百分点超出标签支持。该基准检验的是记录本身而非任务:五个harness运行十四个任务,三家厂商的模型审查员和人类评审小组阅读记录并回答问题,其引用的每段文字按写入者机械标注。 在特定条件下该沙盒表现较好:在由第三家厂商模型驱动、且所有规则在记录生成前已提交的运行中,报告66处改动中的64处、未误报84条干净记录;在五种格式的留存记录上报告115处中的109处。代码与数据已公开。
AI 根据报道生成 · 32 分钟前更新
最新进展11月20日 13:00
Hearsay 基准研究:谁才能审计部署中的 Agent harness 写下的运行记录报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIHearsay 基准研究:谁才能审计部署中的 Agent harness 写下的运行记录
arXiv 论文提出 Hearsay 基准,研究外部审计者能否核查由 agent harness 写下的运行记录,发现十六个框架中 harness 均是唯一记录者,模型审查员声称得到佐证的证据中有 18 到 55 个百分点超出标签支持。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。