跳到正文
热点事件持续更新

研究:ReLU 网络 bias-only 训练动力学趋近线性最小二乘

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Shreyas Chaudhari 与 Jose M. F. Moura 在 arXiv 论文(arXiv:2611.24797)中用“激活码”(神经元激活的二元模式,将输入空间划分为凸多面体区域)刻画了单隐层 ReLU 网络仅训练偏置时的训练动力学,并给出实验支持。 论文称:只要激活码保持固定,训练就等价于以这些码为特征的线性最小二乘问题;梯度只依赖输入的激活码。随着网络宽度增大,切换神经元的比例趋近于零,在无限宽极限下训练动力学趋近于初始激活码上的线性最小二乘。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    ReLU 网络中 Bias-Only 训练动力学研究

    一项 arXiv 研究通过激活码刻画了单隐层 ReLU 网络中仅训练偏置时的动力学:梯度只依赖输入的激活码,固定激活码下训练等价于以码为特征的线性最小二乘问题。随着网络宽度增大,切换神经元的比例趋近于零,无限宽极限下训练动力学趋近于初始激活码上的线性最小二乘,实验支持了这些理论结论。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。