Natural PC：侧向回路实现预测编码自然梯度学习

Lhea Beumer、Sander de Haan 等研究者在 arXiv 发布论文，提出 Natural PC：在标准预测编码（PC）中加入侧向回路，实现空间和时间上的精确局部自然梯度学习。该回路通过学习活动相关性确定 Fisher 信息矩阵并隐式计算其逆，避免昂贵的显式矩阵求逆。 论文称，在所有测试的图像重建基准上，Natural PC 在样本和计算效率上优于现有 PC 方法；并可扩展到 ImageNet，以低约一个数量级的计算成本和少两个数量级的训练样本，达到与 AdamW 训练的反向传播及多种二阶优化器相当的性能。

AI 根据报道生成 · 26 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。