lxfater (@lxfater)· 铁锤人·· 2 天前AI 评分61
DeepSeek 开源生产级推理框架 DeepInfer，支持 V4.1-Flash 与昇腾 950
为什么模型都开源了，自己部署，却未必比直接用 DeepSeek 官方 API 便宜？ DeepSeek 这次把部分答案公开了：DeepInfer 他们自己用来支撑大规模服务的推理框架。 ...
AI 导读
DeepSeek 开源了支撑其大规模服务的推理框架 DeepInfer，回答为何自部署未必比官方 API 便宜。该框架支持多卡分担计算、候选词生成后一起验证加速输出、紧凑调度请求和指定格式输出，目前主要支持 DeepSeek-V4.1-Flash，兼容英伟达 SM100 和华为昇腾 950；完整缓存管理与跨副本负载均衡尚未全部开源。
来源：lxfater (@lxfater) · x.com