提出LoRA新初始化方案稳定非对称学习率训练
热点事件持续更新
提出LoRA新初始化方案稳定非对称学习率训练
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Disen Liao与Yaoliang Yu在arXiv论文中分析了LoRA+非对称学习率训练不稳定、高学习率比率下性能崩溃的原因：标准初始化会在更新中引入噪声项。论文提出新初始化方法initAA，将A的方差按σ_A²∝n⁻²缩放并保持B₀=0，使初始化噪声能量额外降低1/n。 据论文称，initAA显著扩大了稳定学习率区间，使η_B≈n·η_A可成为有限预训练模型可用的起点。论文共46页、13幅图，发表于NeurIPS 2026。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
重新思考 LoRA 初始化以实现稳健的非对称学习率报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AI重新思考 LoRA 初始化以实现稳健的非对称学习率
一项 arXiv 研究通过信号-噪声分解揭示了 LoRA+ 非对称学习率在标准初始化下训练不稳定、高比率性能崩溃的根源：更新中存在由初始化引入的噪声项。研究提出新初始化方法 initAA，将 A 的方差按 σ_A² ∝ n⁻² 缩放并保持 B₀=0，使初始化噪声能量额外降低 1/n。该方法显著扩大稳定学习率区间，使 η_B ≈ n·η_A 成为有限预训练模型可用的起点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。