Cerebras 与 Gimlet Labs 合作部署晶圆级推理，首个数据中心年内上线，速度最高 3,000 tokens/sec
When we designed our wafer-scale systems, we focused on keeping compute close to memory so we could generate tokens quickly. Bringing that speed to mo...
AI 导读
Cerebras 宣布与 Gimlet Labs 合作，将其晶圆级高速推理能力接入 Gimlet Cloud，通过单一 API 提供服务。Gimlet Labs 的软件会把推理的不同阶段映射到最适合的硬件上，双方计划部署 100 MW 的 Cerebras 算力，首个数据中心预计年内上线，速度最高达 3,000 tokens/sec，帮助开发者加快智能体任务中的每步模型调用。
来源：seanlie(@ seanlie) · x.com