研究者提出内存高效优化器 Gefen

Nadav Benedek、Tomer Koren 与 Ohad Fried 等研究者提出内存高效优化器 Gefen 并开源实现。据论文称，它通过跨参数块共享二阶矩估计、并用学习到的码本量化一阶矩，可将 AdamW 的优化器内存占用最多降低 8 倍，每十亿参数节省 6.5 GiB，同时保持性能。 论文称 Gefen 无需架构特定的元数据，也不需要用户在 AdamW 默认超参数之外额外调参。相关结果目前来自论文作者自述，尚未见独立验证报道。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。