用国际象棋分离LLM泛化与记忆

Leonard S. Pleiss 等研究者发布论文（arXiv:2601.16823），以国际象棋为受控测试床，按先验密度对局面分类，在不需了解模型训练数据的情况下区分大语言模型的记忆与泛化能力，并据此纵向评估了 GPT 系列及 Claude Opus、Gemini 等模型。 评估结果显示，随着相关先验减少，各模型性能持续下降；先验稀少时基座模型退化至随机对弈水平，提出非法着法的比率陡增。推理增强虽能带来提升，但论文称其在缺先验时每 token 的边际收益递减。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。