DeepSeek 开源自研推理框架 DeepInfer 及配套组件 deepseek-recipe

DeepSeek 近日全面开源推理框架 DeepInfer，继模型权重和 FlashMLA、DeepGEMM 等算子库后开放模型运行链路。

10 月 20 日，DeepSeek 以 Apache 2.0 许可证开源内部推理框架 DeepInfer 及配套编解码组件 deepseek-recipe，当前支持 DeepSeek-V4.1-Flash，面向大规模部署，支持英伟达 SM100 GPU 和华为昇腾 950 NPU。

DeepSeek 开源了用于运行自家模型的内部推理框架 DeepInfer。此举揭示了该中国 AI 开发商在大规模运行模型时实现高效率和低算力成本的部分技术细节，外界有望借助 DeepInfer 获益。

swyx 转述 DeepSeek 在知乎发布并全面开源的自研推理框架 DeepInfer，称其以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 大规模推理服务。

DeepSeek 将支撑 V4.1-Flash 大规模线上服务的推理框架 DeepInfer 开源，Apache 2.0 协议可免费商用，并配套开源了 MIT 协议的 deepseek-recipe，用于把 OpenAI 和 Anthropic 常见请求格式对齐到官方 API 逻辑。

响马转发 DeepSeek 官宣，称社区升级服务的速度赶不上 DeepSeek 的开源速度，DeepSeek 是当之无愧的 openai。DeepSeek 宣布自研推理框架 DeepInfer 全面开源，该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行，并公开生产栈以帮助社区降低算力成本和能耗。

DeepSeek 开源了支撑其大规模服务的推理框架 DeepInfer，回答为何自部署未必比官方 API 便宜。该框架支持多卡分担计算、候选词生成后一起验证加速输出、紧凑调度请求和指定格式输出，目前主要支持 DeepSeek-V4.1-Flash，兼容英伟达 SM100 和华为昇腾 950；完整缓存管理与跨副本负载均衡尚未全部开源。

DeepSeek-V4.1-Flash-20261017 (Max) 在 Agent Arena 成为开源模型第 1 名，总榜第 11 名，在超过 7.5K 真实会话中净提升 +5.1%，并重塑了 Agent Arena 的 Pareto 前沿。作者还提到 DeepSeek 同日开源了内部使用的推理框架 DeepInfer。

DeepSeek 将内部推理框架 DeepInfer 全面开源（Apache 2.0，github.com/deepseek-ai/DeepInfer），并放出 MIT 协议的生产级 Token 编解码组件 deepseek-recipe，官方称其支撑 DeepSeek-V4.1-Flash 规模化服务，单集群日吞吐 155 万亿 Tokens。

DeepSeek 官方开源两个项目：推理加速引擎 DeepInfer 和数据转换工具包 deepseek-recipe。

DeepSeek 宣布将内部推理框架 DeepInfer 完全开源，该框架支撑 DeepSeek-V4.1-Flash 的大规模服务，具备高吞吐和低延迟。官方表示分享生产级技术栈是为了帮助社区降低算力成本与能耗。

转发 Tianyi Cui 的消息：DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer，仓库地址 https://github.com/deepseek-ai/DeepInfer。