微调前呈线性可读的知识微调后才能泛化：arXiv 新研究解析语言模型的“活跃事实”

一项 arXiv 研究区分了语言模型中的“活跃事实”与“惰性事实”：前者能支持超出自身召回的泛化，后者只能被召回。通过在既有关系上构造重标注新关系并微调模型，研究涵盖 11 个语言模型和 70 个关系，发现原始关系在预训练表征中的线性可读性强烈预测泛化能力，各模型内 Pearson r = 0.87 至 0.92，且在控制微调样本数、模型准确率、主题出现频率等因素后依然稳健。