研究揭示预训练与对齐权重更新的读写不对称几何
热点事件持续更新
研究揭示预训练与对齐权重更新的读写不对称几何
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Valeria Ruscio 与 Keiran Thompson 在 arXiv 论文（arXiv:2605.16600 v2）中以残差流为统一坐标系，分析 transformer 各训练阶段权重更新的方向，发现对齐阶段对 query 和 key 矩阵的更新集中于激活的主输入子空间，而对输出矩阵的更新相对预测子空间接近随机。 论文称这一读写不对称签名在后期预训练和多种目标函数下均出现，说明它是训练阶段的属性而非目标函数的属性。
AI 根据报道生成 · 56 分钟前更新
最新进展10月28日 12:00
学习的几何学：预训练与对齐中的读写不对称性报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AI学习的几何学：预训练与对齐中的读写不对称性
arXiv 论文以残差流为统一坐标系，分析预训练与对齐各阶段如何改变 transformer 权重方向。研究发现对齐阶段对 query 和 key 矩阵的更新集中于激活的主输入子空间，而对输出矩阵的更新相对预测子空间接近随机；这一读写不对称签名在后期预训练和多种目标函数下均出现，说明它是训练阶段的属性而非目标的属性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。