用于神经网络损失景观临界轨道的通用拓扑对称指数
A General Topological Symmetry Index for Critical Orbits In Neural Network Loss Landscapes
AI 导读
一篇 arXiv 论文提出基于等变度理论的拓扑对称指数,用于刻画神经网络损失景观中由架构和学习目标产生的对称性及其临界轨道。该框架适用于任意网络架构,包括简并临界轨道,可检测临界点的各向同性并量化净拓扑贡献,论文以 softplus MLP、Transformer 和等变神经网络为例展示了计算过程。
来源:arXiv cs.AI · arxiv.org