StructLens：基于最大生成树的语言模型内部结构分析框架

研究者提出 StructLens，通过在残差流的语义表征上构建最大生成树，以整体结构视角分析语言模型的 token 表征组织方式。分析发现相邻 token 在表征空间中也彼此接近，中间层表现出最强的局部跨度组织。预训练检查点分析显示，较小的局部单元在预训练中更早可被检测到，较大单元则更晚。