CAFIN 提出 CUDA 核融合加速 AdaFisher 二阶优化器

CAFIN 论文作者提出一个 GPU 原生的 CUDA 内核融合框架，在不改变 AdaFisher 二阶优化器优化公式的前提下提升其执行效率，将 FIM 预条件子构建、EMA 更新、梯度预条件、动量累积等步骤融合为单个内核。 实验基于 ResNet-18，在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上进行，硬件为 NVIDIA GTX 1660 Ti 和 RTX 3060 Laptop 两款 GPU；数值验证显示结果在预设 FP32 容差内保持一致。

AI 根据报道生成 · 18 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。