跳到正文
热点事件持续更新

ForecastGym:可回放证据的 LLM 预测评测基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Yicheng Tao 等研究者发布 ForecastGym,一个面向 LLM 预测智能体的评测基准。它每两天记录四家商业搜索 API 对 150 个公开预测市场问题的返回结果,共积累 614 个证据状态和约 13.1 万条搜索结果。 其评测方式是:待问题结局揭晓后,用冻结的证据离线回放,供被测模型在同一批网络证据上进行预测,避免在线评测中证据随时间变化带来的不可复现问题。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv cs.AI
    ForecastGym:面向预测智能体的可回放基准,记录四家搜索 API 证据并离线评测

    研究者提出 ForecastGym,每两天记录四家商业搜索 API 对 150 个公开预测市场问题的返回,共 614 个证据状态、131k 条搜索结果,结局揭晓后用冻结证据离线回放评测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。