开发者用190行纯JAX复现DeepSeek-V3架构并在MacBook Air上预训练

开发者VaibhaavTiwari发布deepseek-v3-jax仓库，用190行纯JAX从零实现DeepSeek-V3论文中的架构（含MLA、解耦RoPE、DeepSeekMoE、无辅助损失均衡和MTP），不依赖Flax、Equinox或PyTorch，并在MacBook Air上用公有领域侦探小说完成了预训练，附代码、检查点和复现步骤。 作者明确说明这只是架构演示，不是强语言模型：复现模型为36.2M参数（原版671B）、6层（原版61层）、256 token上下文（原版128K）。 复现需要Apple Silicon Mac、Python 3.12和uv，公开的运行使用了24 GB内存；检查点为Python pickle格式，加载时可能执行代码，使用时需注意安全。

AI 根据报道生成 · 9 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。