研究测量跨厂商自动审计模型的能力上限
热点事件持续更新
研究测量跨厂商自动审计模型的能力上限
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
Zhaohe Dong 在 arXiv 发布论文,测量一种已上线的自动化审计安排的能力上限:由另一厂商的模型审计员阅读被审工作,确定性检查验证代码可验证的部分,并以模型无法提供的真实答案为基准衡量其极限。 结果方面,对正确代码,八次阅读在该审计安排下召回率为 30.0%(区间 20.0–40.7),标记率为 16.0%(区间 10.1–22.3);对 49 份存在不一致的报告全部标记,对 25 份一致的编造报告则无一标记。涉及模型调用的研究均已预注册,论文点名了其中两项未注册的分析。 研究背景是模型越来越多地检查其他模型的输出;该论文覆盖通用代码、科学代码、结果与数据等审计对象,分析这种审计安排的天花板由什么决定。
AI 根据报道生成 · 25 分钟前更新
最新进展11月20日 13:00
自动化审计的天花板由什么决定:从通用代码到科学代码的结果与数据分析报道时间线
沿着报道,了解事件的不同侧面。
11月20日
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。