跳到正文
热点事件持续更新

研究者提出MuonGS优化器:用GS投影控制预训练权重范数

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Athanasios Glentis 等人发布 arXiv 论文(arXiv:2610.37647),提出预训练大语言模型优化器 MuonGS。该方法用 Gram–Schmidt(GS)投影去除每个 Muon 更新的径向分量,从而无需固定权重范数即可让范数缓慢增长。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    MuonGS:用松弛权重范数控制预训练大语言模型

    一篇 arXiv 论文提出优化器 MuonGS,通过 Gram--Schmidt(GS)投影去除 Muon 更新的径向分量,不固定权重范数即可实现范数缓慢增长。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。