跳到正文
arXiv cs.AI· Jackson Wang·· 46 分钟前精选AI 评分60

arXiv 论文测试 LLM 交易智能体在财报与坏消息后的表现:唯一优势来自训练期记忆

The Only Edge Was Memorized in Training: LLM Trading Agents Around Earnings and Bad News

AI 导读

arXiv 论文(arXiv:2611.22177)用无前视基准测试 LLM 交易智能体,覆盖 598 次财报公布前和 409 次大盘股坏消息下跌后两个时点,四个厂商的五个模型没有一个跑赢简单规则。

推荐理由

论文用无前视基准检验 LLM 交易智能体在财报与坏新闻后的表现,给出的盲测方法可直接用于同类评估。

正文 · AI 翻译

查看 PDF HTML (实验性)

摘要:大语言模型(LLM)交易智能体通常在新闻上进行测试,但新闻在几分钟内就会反映到股价中,而且一个按发布时间重放头条新闻的基准测试发现,据此交易并无超额收益(alpha)。那么资金可以留在两个地方:在日期已知的消息(如财报发布)之前,以及在坏消息之后——如果市场跌幅过头的话。然而,关于 LLM 与财报的研究读取的是随公告发布或其后发布的文件,而关于反转的研究则按月构建投资组合,因此两者都无法说明智能体在扣除成本后能否交易这些时机。本文中,我们在同一个无前视偏差的基准上测试 LLM 智能体在这两个时机的表现:598 次财报发布之前和 409 次美国大盘股坏消息暴跌之后。所有输入均在决策截止时点截断,将分阶段的智能体与单次调用、简单规则和逻辑回归进行比较,且每个决策均在提供和不提供股票名称两种情况下做出。在来自四家厂商的五个模型中,没有任何智能体跑赢简单下注。在财报发布前,智能体大多选择买入,收益与在每次公告前买入的收益相同;在坏消息后,一个基于 Gemini 的智能体几乎把每一次下跌都称为过度反应,而没有任何智能体能挑出比全部买入更好的抄底时机。唯一的收益来自模型在训练中记住的内容。仅给出股票代码和日期,一个基于 GPT 的模型对其训练截止日期之前的公告预测出了 59.2% 的方向正确率,截止日期之后则为 53.3%。因此,智能体构建者应当将事件智能体与简单下注进行比较,并在训练截止日期之后进行盲测。
评论: 21 页,9 幅图,12 张表。关于 LLM 交易智能体在预定财报发布之前和坏消息暴跌之后的原始实证研究,基于 rta-bench-1 基准运行(arXiv:2611.19530)
学科分类: 人工智能 (cs.AI);多智能体系统 (cs.MA)
引用格式: arXiv:2611.22177 [cs.AI]
  (本版本: arXiv:2611.22177v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.22177

arXiv 通过 DataCite 签发的 DOI(注册中)

提交记录

来自:Jackson Wang [查看邮件]
[v1] 2026年11月17日 星期二 04:13:18 UTC (306 KB)

来源:arXiv cs.AI · arxiv.org