跳到正文
热点事件持续更新

arXiv 论文发布文献检索基准 CompLit,评测主流智能体

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

arXiv 论文发布文献检索基准 CompLit,覆盖全部八个 arXiv 领域,并分别设置隐式、累积与未被满足三类搜索需求的诊断场景,用于评测科研文献搜索智能体。 评测结果显示,表现最强的智能体 Codex(GPT-5.6-Sol)和 Claude Code(Opus 4.8)在 Standard 查询上答对 86-87%,但在隐式需求查询上降至 66-68%,在累积需求查询上再分别下降 6 和 15 个百分点;对无文献可满足的查询,弃答率最高达 53%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.AI
    CompLit:科研文献搜索基准须覆盖隐式、累积与未被满足的需求

    arXiv 论文提出文献搜索基准 CompLit,覆盖全部八个 arXiv 领域,分别诊断隐式、累积与未被满足三类搜索需求。最强智能体 Codex(GPT-5.6-Sol)和 Claude Code(Opus 4.8)在 Standard 查询上答对 86-87%,隐式需求下降至 66-68%,累积需求再分别降 6 和 15pp,对无文献满足的查询最多弃答 53%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。