发烧友用停产Optane内存纯CPU跑通2.8万亿参数Kimi K3
热点事件持续更新
发烧友用停产Optane内存纯CPU跑通2.8万亿参数Kimi K3
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一位 Reddit homelab 玩家用已停产的二代 Intel Optane PMem 200 内存搭配 40 核三代 Xeon Scalable CPU,在无 GPU 的情况下跑通了月之暗面 2.8 万亿参数的 Kimi K3 模型推理。 这套配置代价不小:即使使用 1-bit 量化,速度也只有每秒 0.85 个 token,最小的社区量化版本也至少需要 610GB 内存。由于运行时发热严重,作者建议必须给内存条加主动散热。
AI 根据报道生成 · 1 小时前更新
最新进展11月8日 20:20
发烧友用二代 Optane PMem 200 在纯 CPU 上跑月之暗面 Kimi K3(2.8T 参数)模型报道时间线
沿着报道,了解事件的不同侧面。
11月8日
- Tom's Hardware发烧友用二代 Optane PMem 200 在纯 CPU 上跑月之暗面 Kimi K3(2.8T 参数)模型
一位 Reddit homelab 玩家用已停产的二代 Intel Optane PMem 200 内存搭配 40 核三代 Xeon Scalable CPU,无 GPU 推理 Moonshot AI 的 2.8 万亿参数 Kimi K3 模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。