爱好者用量化和 SSD 流式加载把千亿参数开源模型塞进笔记本电脑
Hobbyists Are Squeezing Trillion-Parameter AI Models Onto Laptops
AI 导读
爱好者借助量化与内存卸载，在消费级硬件上运行超大开源权重模型，有 hobbyist 在 48GB MacBook M5 Pro 上从 SSD 流式运行 2840 亿参数的 DeepSeek V4 Flash，达到约 5 tokens 每秒。
爱好者用量化和 SSD 流式加载把千亿参数开源模型塞进笔记本电脑