跳到正文
36氪 · AI·· 2 小时前精选AI 评分79

DeepMind披露Softmax与交叉熵浮点Bug,Gemini自行发现并修复

AI教科书全错,底层公式惊天Bug曝光,Gemini率先自我修复

AI 导读

Google DeepMind的Jon Barron团队披露,PyTorch、JAX及教科书中的Softmax与交叉熵标准实现存在浮点舍入Bug,正确梯度可能被舍入为零,引发训练震荡,论文《Softmax和交叉熵的修复》已提交arXiv(arxiv.org/pdf/2610.31642)。

推荐理由

文章梳理了DeepMind披露的Softmax浮点舍入Bug与修复方法,并以历史数值误差事故提供背景,读者可借其理解数值精度对AI训练的实际影响。

来源:36氪 · AI · 36kr.com