研究称时间炸弹式loss尖峰由量化误差驱动
热点事件持续更新
研究称时间炸弹式loss尖峰由量化误差驱动
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
马里兰大学团队（Zaiqian Chen 等）在 arXiv 论文（arXiv:2610.38277）中研究语言模型预训练中长时间训练后才出现的延迟发散 loss spike，命名为 time-bomb spikes。作者发现这类尖峰出现前，LM 头中的量化误差会快速增长，最终引发 loss spike；降低数值精度会加速其出现。 作为缓解方法，作者提出将 LM 头的 AdamW 优化器替换为带动量的 SGD，抑制 logit 增长并提升长期训练稳定性，并指出已有缓解方法均是通过降低量化误差起效。
AI 根据报道生成 · 54 分钟前更新
最新进展10月31日 12:00
arXiv 论文提出时间炸弹式 loss spike 由量化误差驱动报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- arXiv cs.AIarXiv 论文提出时间炸弹式 loss spike 由量化误差驱动
arXiv 论文（arXiv:2610.38277）研究语言模型预训练中长时间训练后才出现的延迟发散 loss spike，命名为 time-bomb spikes，发现其由 LM 头中快速增长的量化误差驱动，降低数值精度会加速其出现。作者提出将 LM 头的 AdamW 优化器替换为带动量的 SGD，抑制 logit 增长并提升长期训练稳定性，并指出已有缓解方法均通过降低量化误差起效。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。