跳到正文
热点事件持续更新

发布NewsBench:评测AI新闻认知质量的专家基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

作者团队发布论文,提出NewsBench评测基准,以新闻、政策和情报分析领域资深专家的编辑标准为基础,从信源质量、事实性和中立性三个维度评估前沿AI的新闻回答质量。 基准包含约3000条评测提示词,其中约500条每月更新以涵盖新近时事,约2500条经人类专家标注用于校准与验证,并通过经专家金标验证的AI judge实现可扩展评测。对四个前沿模型的测试显示,它们在信源、事实性和中立性上呈现各不相同的失败模式。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    NewsBench:基于专家标准的 AI 新闻报道认知质量评测基准

    NewsBench 是一个以新闻、政策和情报分析领域资深专家的编辑标准为基础的评测基准,从信源质量、事实性和中立性三个维度评估前沿 AI 的新闻回答质量。基准包含约 3000 条评测提示词,其中约 500 条每月更新,约 2500 条经人类专家标注用于校准与验证,并通过经专家金标验证的 AI judge 实现可扩展评测。对四个前沿模型的测试显示,它们在信源、事实性和中立性上呈现各不相同的失败模式。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。