研究：秩压缩是grokking特征而非成因

Shlok Mehendale 与 Paras Chopra 发布论文（arXiv:2610.35112），通过 mean-field MLP 与单层 transformer 在模运算任务上的训练实验，结论是权重矩阵有效秩压缩是 grokking 的特征（结果），而非其成因。 论文证据包括：有效秩的陡降出现在 grokking 拐点之后约 900 步，且与拐点何时发生无关；只记忆而未泛化的网络压缩程度远低。干预实验中，限制 transformer MLP 输入权重的秩会延迟 grokking 发生，而限制其嵌入层的秩使 20 次运行中的 15 次未能 grokking。

AI 根据报道生成 · 38 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。