arXiv论文提出LLM中的“无知方向”编码unigram先验

Liu 等研究者在 arXiv 论文《The Direction of Ignorance: LLMs Encode and Temper a Unigram Prior》（arXiv:2609.02959，v2）中提出，语言模型 unembedding 矩阵中存在一个编码训练语料 unigram 分布的“无知方向”，充当模型不确定时退回的贝叶斯先验。 该结构在 Llama、Qwen、Gemma、Pythia 等模型（0.4B–405B 参数）中普遍存在：投影系数 λ 随上下文信息量增加而下降，且大模型与推理模型的先验依赖更低。论文称，削弱该方向可促进上下文驱动的续写，并提升 Llama-3.2-3B-Instruct 在 GSM8K 上的表现；而放大该方向或沿随机方向施加匹配扰动则会降低性能。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。