论文用变形关系测试发现LLM国际象棋评估几何不稳定

Qingya Hu等研究者在arXiv发布论文（v2），用变形关系方法测试Claude Sonnet 4.5、DeepSeek Chat、Gemini 2.5 Flash、GPT-5.1、Grok 4.1 Fast和Kimi K2 Turbo六款大语言模型在国际象棋局面评估中的几何稳定性，以Stockfish 16.1为参照。结果显示模型对几何等价局面（如180度旋转、左右镜像、换色）的评估一致性很差：500对旋转局面中最多只有10.6%的评估差值在300厘兵以内。 测试还包括相距一步的局面对比、FEN记法与自然语言描述互换，以及非法局面的识别，模型对非法局面的拒绝率在44.2%到96.0%之间。论文结论是准确率之外还应关注评估的几何稳定性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。