用SAE研究LLM语法数的编码机制

明尼苏达大学的 Jacob Solinsky 与 Serguei Pakhomov 发布论文（arXiv:2611.07283），提出用稀疏自编码器（SAE）研究大语言模型如何编码和处理语法数。他们在 Pythia-70M 上以主谓单复数一致为对象，定位出“复数名词”“复数主语”“生成复数动词”等特征，移除这些特征会使模型改输出单数动词，反之亦然。 研究发现单数特征干预效果较弱，作者据此称模型采用亏损性（privative）的语法数表示。该方法在 Gemma-2-2b 和 Llama-3.1-8b 上得到类似结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。