Jon Barron 指出所有 softmax 与交叉熵实现均存在两个隐蔽 bug
RT Jon Barron: Hi all, I have a new result I'm excited to share. It turns out that *all existing implementations* of softmax and cross-entropy (that's...
AI 导读
Jon Barron 称，包括 JAX、PyTorch 和教科书在内的所有现有 softmax 与交叉熵实现存在两个细微 bug，一个简单的重写即可同时修复。该修复还能消除 grokking 过程中的“slingshots”现象。Yann LeCun 转发了这一结果。