SAE训练数据缩放律论文发布

Nikita Koriagin、Nikita Balagansky 和 Daniil Gavrilov 在 arXiv 发布一项关于稀疏自编码器（SAE）训练数据的缩放律研究，提出在固定训练预算下，SAE 质量随激活缓冲区增大先快速提升后达到平台期，之后回放缓冲区与使用新鲜激活的效果接近。 论文称，按该缩放律选取达到质量平台期的最小缓冲区并回放，可将激活存储需求降低 8–64 倍，且质量损失可忽略。作者在 Llama-3.1 各层、Qwen3 多个模型规模上，以及 BatchTopK、TopK、JumpReLU 三类 SAE 中验证了该结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。