Every Part Has Its Role：LLM 后训练中词性的作用

arXiv 论文研究了概念增强训练数据在 LLM 后训练中因词性不同而产生的效果差异，将此前仅针对名词的分析扩展到动词和形容词。结果显示，概念增强在新闻语料上对困惑度的提升最稳定且与词性无关，而动词带来最可靠的下游任务收益；CKA 和线性探测的表征分析表明，下游收益最大的条件未必最改变模型内部表征。