用重整化群框架描述Grokking
热点事件持续更新
用重整化群框架描述Grokking
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Min Chen等在arXiv研究中提出用标度与重整化群（RG）理论定量描述神经网络中的Grokking现象，即从记忆到泛化的延迟转变。研究以两层神经网络在模加法任务上训练的模型集合为对象，定义权重范数平方为序参量，构造耦合矩阵并以Fiedler向量确定有效几何，再通过块自旋聚合执行实空间RG。 线性化得到的五个临界指数的经验估计与RG理论预测的偏差在1-10%以内。该结论目前限于两层神经网络的模加法任务这一设定。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
神经网络的标度与重整化：Grokking 现象的有效重整化群描述报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AI神经网络的标度与重整化：Grokking 现象的有效重整化群描述
一项 arXiv 研究用标度与重整化群（RG）理论定量描述深度神经网络中从记忆到泛化的延迟转变——Grokking。研究在两层神经网络上对模加法任务训练的模型集合定义序参量（权重范数平方），用损失的二阶展开构造耦合矩阵并以 Fiedler 向量确定有效几何，再通过块自旋聚合执行实空间 RG。线性化得到的五个临界指数经验估计与 RG 预测偏差在 1-10% 以内。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。