跳到正文
热点事件持续更新

研究测量跨厂商自动审计模型的能力上限

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

Zhaohe Dong 在 arXiv 发布论文,测量一种已上线的自动化审计安排的能力上限:由另一厂商的模型审计员阅读被审工作,确定性检查验证代码可验证的部分,并以模型无法提供的真实答案为基准衡量其极限。 结果方面,对正确代码,八次阅读在该审计安排下召回率为 30.0%(区间 20.0–40.7),标记率为 16.0%(区间 10.1–22.3);对 49 份存在不一致的报告全部标记,对 25 份一致的编造报告则无一标记。涉及模型调用的研究均已预注册,论文点名了其中两项未注册的分析。 研究背景是模型越来越多地检查其他模型的输出;该论文覆盖通用代码、科学代码、结果与数据等审计对象,分析这种审计安排的天花板由什么决定。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    自动化审计的天花板由什么决定:从通用代码到科学代码的结果与数据分析

    一项 arXiv 研究分析了跨厂商模型审计员加确定性检查的自动化审计安排的能力上限。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。