ForecastGym:可回放证据的 LLM 预测评测基准
热点事件持续更新
ForecastGym:可回放证据的 LLM 预测评测基准
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yicheng Tao 等研究者发布 ForecastGym,一个面向 LLM 预测智能体的评测基准。它每两天记录四家商业搜索 API 对 150 个公开预测市场问题的返回结果,共积累 614 个证据状态和约 13.1 万条搜索结果。 其评测方式是:待问题结局揭晓后,用冻结的证据离线回放,供被测模型在同一批网络证据上进行预测,避免在线评测中证据随时间变化带来的不可复现问题。
AI 根据报道生成 · 2 小时前更新
最新进展11月19日 13:00
ForecastGym:面向预测智能体的可回放基准,记录四家搜索 API 证据并离线评测报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv cs.AIForecastGym:面向预测智能体的可回放基准,记录四家搜索 API 证据并离线评测
研究者提出 ForecastGym,每两天记录四家商业搜索 API 对 150 个公开预测市场问题的返回,共 614 个证据状态、131k 条搜索结果,结局揭晓后用冻结证据离线回放评测。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。