跳到正文
Hacker News· VaibhaavTiwari·· 4 小时前AI 评分60

作者用 190 行纯 JAX 从头实现 DeepSeek-V3 架构并在 MacBook Air 上完成预训练

Show HN: DeepSeek V3 in ~200 lines of pure Jax

AI 导读

作者发布 deepseek-v3-jax 仓库,用 190 行纯 JAX 实现 DeepSeek-V3 论文架构,无 Flax、Equinox 或 PyTorch,涵盖 MLA、解耦 RoPE、DeepSeekMoE、无辅助损失均衡和 MTP。

来源:Hacker News · github.com