Cerebras 如何大规模部署多万亿参数模型
Cerebras 讲解了其大规模部署多万亿参数模型的方法，拆解三方面原理：如何将完整模型装进片上内存、如何把模型映射到多个芯片上，以及如何处理大量并发请求。
更新
seanlie(@ seanlie)被本站收录的内容
seanlie(@ seanlie)AI 评分4545
seanlie(@ seanlie)AI 评分5151 Oracle 与 Cerebras 合作，OCI 将向 AI 实验室、企业和开发者提供 Cerebras 快速推理服务
Oracle 与 Cerebras 宣布，Oracle Cloud Infrastructure（OCI）将向 AI 实验室、企业和开发者提供 Cerebras 的快速推理服务。Oracle 在对 Cerebras 技术进行超过一年的评估后作出选择，双方称将把全球最快的 AI 推理带给更多用户。
seanlie(@ seanlie)AI 评分4444 Cerebras 联合创始人 AMA 第二期：谈芯片内存与算力取舍及晶圆级堆叠 DRAM
Cerebras 联合创始人、MIT 毕业后曾在 AMD 任职的 Sean Lie 发布 AMA 第二期视频，回答芯片内存与算力分配的架构决策问题。他解释了 CS4、CS5、CS6 之间的变化，称选择 SRAM 是为了带宽，目前正开发晶圆级堆叠 DRAM，以在保持快速推理的同时为更大模型提供更多容量，并涉及供电、散热和制造等工程难题。
seanlie(@ seanlie)AI 评分2020 Cerebras 全球最快推理即将登陆 general_compute
Cerebras 宣布其号称全球最快的推理服务即将接入 general_compute。
seanlie(@ seanlie)AI 评分4545 Cerebras 与 Gimlet Labs 合作部署晶圆级推理，首个数据中心年内上线，速度最高 3,000 tokens/sec
Cerebras 宣布与 Gimlet Labs 合作，将其晶圆级高速推理能力接入 Gimlet Cloud，通过单一 API 提供服务。Gimlet Labs 的软件会把推理的不同阶段映射到最适合的硬件上，双方计划部署 100 MW 的 Cerebras 算力，首个数据中心预计年内上线，速度最高达 3,000 tokens/sec，帮助开发者加快智能体任务中的每步模型调用。
seanlie(@ seanlie)AI 评分1515 NVIDIA 持续提升吞吐量：100-200 tokens/秒的推理速度正变成新的“批处理模式”
NVIDIA 持续推动推理吞吐量提升，以提供更多、更便宜的 tokens。过去感觉够快的 100 到 200 tokens/秒的推理速度，正在迅速变成新的“批处理模式”。seanlie 在与 @swyx 的 @latentspacepod 对谈中讨论了推理速度预期正在如何变化。
seanlie(@ seanlie)AI 评分2626 Jalapeño 背后的 AI 芯片设计方法学：用 AI 加速芯片设计并提升吞吐与延迟
Jalapeño 最值得关注的是其背后的设计方法学：借助 AI 帮助更快地构建芯片，同时推进吞吐量和延迟表现，这有望惠及整个芯片行业。作者在与 @swyx 的 @latentspacepod 播客对谈中，阐述了这一方向为何被视为芯片设计的未来。