Cerebras 推出分离式推理,GPU 负责预填充、WSE 负责解码,每兆瓦吞吐提升 5 倍
Cerebras Disaggregated Inference
AI 导读
Cerebras 推出分离式推理(disaggregated inference):AMD Instinct GPU 处理提示词预填充,Cerebras CS-3 系统负责解码,已在生产环境部署。
来源:Hacker News · cerebras.ai
Cerebras Disaggregated Inference
Cerebras 推出分离式推理(disaggregated inference):AMD Instinct GPU 处理提示词预填充,Cerebras CS-3 系统负责解码,已在生产环境部署。
来源:Hacker News · cerebras.ai