DeepMind披露Softmax与交叉熵浮点Bug,Gemini自行发现并修复
AI教科书全错,底层公式惊天Bug曝光,Gemini率先自我修复
AI 导读
Google DeepMind的Jon Barron团队披露,PyTorch、JAX及教科书中的Softmax与交叉熵标准实现存在浮点舍入Bug,正确梯度可能被舍入为零,引发训练震荡,论文《Softmax和交叉熵的修复》已提交arXiv(arxiv.org/pdf/2610.31642)。
推荐理由
文章梳理了DeepMind披露的Softmax浮点舍入Bug与修复方法,并以历史数值误差事故提供背景,读者可借其理解数值精度对AI训练的实际影响。