研究提出自适应选择LMO几何的优化器，开销约3%
热点事件持续更新
研究提出自适应选择LMO几何的优化器，开销约3%
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Thomas Massena 等在 arXiv 发表一项 NeurIPS 研究，提出基于 Schatten-p 范数的数据驱动准则，通过单步随机特征回归代理模型，依据各层梯度和激活统计量为深度神经网络逐层动态选择更新 LMO 几何。 该框架结合逐参数预处理后可复现 SGD、Muon、Adam 和 MuAdam 等现有优化器，计算开销在高度优化的基线上仅约 3%。作者称，在三种训练场景中，该优化器胜过或持平 Muon 与 AdamW 中的最优者。
AI 根据报道生成 · 1 小时前更新
最新进展10月28日 12:00
从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化方法报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AI从 SGD 到 Muon：基于 Schatten-p 范数的自适应优化方法
一项 NeurIPS 研究提出数据驱动准则，通过单步随机特征回归代理模型，基于梯度和激活统计量动态选择深度神经网络各层的更新 LMO 几何。该框架结合逐参数预处理后可复现 SGD、Muon、Adam 和 MuAdam，计算开销仅约 3%。在三种训练场景中，该优化器胜过或持平 Muon 与 AdamW 中的最优者。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。