跳到正文
arXiv cs.AI· Auss Abbood, Fernando Mart\'inez-Plumed, Jos\'e Hern\'andez-Orallo, Nigel Collier·· 2 小时前AI 评分48

计时与理解时间:两者都无法单独解释 LLM 的时间推理

Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs

AI 导读

一项 arXiv 研究挑战了将 LLM 时间推理分为时间算术与时间语义两类的共识。微调实验显示,模型增益主要是数据集特定的(+6.8 到 +23.1 个百分点),同模式跨数据集迁移仅为 -3.2 到 +1.1 个百分点;基于认知需求的评估还发现,驱动这些基准成绩的主要是知识而非量化和逻辑推理。这表明现有时间推理基准并未真正实现算术—语义二分,而是主要奖励模型记住时间的常见运作方式。

来源:arXiv cs.AI · arxiv.org