LiveSearch 金融搜索 Agent 实时基准发布

论文作者发布金融搜索智能体实时基准 LiveSearch：每个问题存为对专业金融数据服务的可执行验证器代码，评测时执行程序得出当期答案，每日自动重跑，无需人工或语言模型参与，以防止答案过时或模型靠训练数据泄露记住答案。作者称，由于答案会随时间变化，模型必须通过工具和分析获取当前答案。 论文测试显示，在使用通用网页搜索的条件下，六款工具调用模型答题准确率为 70.9%–76.7%。连续三天内 70% 的题目黄金答案发生变化，重用旧快照时多数题一天内即失败。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。