研究解释深层网络层间几何连续性来源

Kyungwon Jeong 等发表 NeurIPS 2026 论文（arXiv:2605.04971），解释了深层神经网络相邻层主奇异向量方向相似的“几何连续性”来源。研究通过 toy MLP 和小型 transformer 实验识别出两个机制：残差连接产生跨层梯度一致性，使各层权重更新相互对齐；破坏对称性的非线性则把所有层约束到共享坐标系，防止旋转漂移。 研究还发现，一个非线性但旋转等变的激活只能达到 ReLU 连续性的一半以下，说明起作用的是对称性破缺而非非线性本身。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。