语言模型如何组织任务信息：可读性与读出稀疏度研究

一项 arXiv 研究提出用最小特征数 k* 度量语言模型内部任务信息的读出稀疏度，并评估了来自五个实验室的 19 个 LLM 在 14 个核心任务上的表现。结果显示 10 个 base 模型在 9 个可靠可读任务上给出相似的特征数与排列顺序，指令微调会选择性降低 k*。