用国际象棋解耦大语言模型的泛化与记忆
Disentangling generalization and memorization in large language models using chess
AI 导读
研究者以国际象棋为受控测试床，按先验密度构建局面分类，区分模型依靠记忆还是泛化能力，并对 GPT 系列及 Claude Opus、Gemini 等模型进行纵向评估。结果显示，随相关先验减少性能持续下降，先验稀少时基座模型退化至随机对弈水平，所有模型提出非法着法的比率陡增；推理增强推理虽有提升，但每 token 的边际收益在缺先验时递减。
来源：arXiv cs.AI · arxiv.org