研究:ReLU 网络 bias-only 训练动力学趋近线性最小二乘
热点事件持续更新
研究:ReLU 网络 bias-only 训练动力学趋近线性最小二乘
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shreyas Chaudhari 与 Jose M. F. Moura 在 arXiv 论文(arXiv:2611.24797)中用“激活码”(神经元激活的二元模式,将输入空间划分为凸多面体区域)刻画了单隐层 ReLU 网络仅训练偏置时的训练动力学,并给出实验支持。 论文称:只要激活码保持固定,训练就等价于以这些码为特征的线性最小二乘问题;梯度只依赖输入的激活码。随着网络宽度增大,切换神经元的比例趋近于零,在无限宽极限下训练动力学趋近于初始激活码上的线性最小二乘。
AI 根据报道生成 · 54 分钟前更新
最新进展11月20日 13:00
ReLU 网络中 Bias-Only 训练动力学研究报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIReLU 网络中 Bias-Only 训练动力学研究
一项 arXiv 研究通过激活码刻画了单隐层 ReLU 网络中仅训练偏置时的动力学:梯度只依赖输入的激活码,固定激活码下训练等价于以码为特征的线性最小二乘问题。随着网络宽度增大,切换神经元的比例趋近于零,无限宽极限下训练动力学趋近于初始激活码上的线性最小二乘,实验支持了这些理论结论。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。