作者用 190 行纯 JAX 从头实现 DeepSeek-V3 架构并在 MacBook Air 上完成预训练
Show HN: DeepSeek V3 in ~200 lines of pure Jax
AI 导读
作者发布 deepseek-v3-jax 仓库,用 190 行纯 JAX 实现 DeepSeek-V3 论文架构,无 Flax、Equinox 或 PyTorch,涵盖 MLA、解耦 RoPE、DeepSeekMoE、无辅助损失均衡和 MTP。
来源:Hacker News · github.com