ARCANA:抽象与类比推理基准发布
ARCANA: A Benchmark for Abstraction and Analogical Reasoning
AI 导读
研究者推出类比推理基准 ARCANA,要求模型将真实世界对象或物理现象进行远域类比映射到抽象网格变换,与主要考察人类先验的 ARC-AGI 不同。人类研究表明人可可靠完成这些任务,而多个大语言模型表现与人类存在明显差距。提出的 ConceptSIR 框架(基于概念滑移、内省与反思)帮助标准 LLM 解出了此前直接提示未能解决的部分任务,代码与数据已公开。
来源:arXiv cs.AI · arxiv.org