Berry Xia (@berryxia)· Berryxia.AI·· 2 天前AI 评分74
DeepSeek 开源内部推理框架 DeepInfer 及生产级 Token 编解码组件 deepseek-recipe
DeepSeek 把内部的推理框架 DeepInfer 全面开源了，同时放出了生产级 Token 编解码组件 deepseek-recipe。 以前想复刻这条链路，只能在 vLLM 上自己改，现在官方...
AI 导读
DeepSeek 将内部推理框架 DeepInfer 全面开源（Apache 2.0，github.com/deepseek-ai/DeepInfer），并放出 MIT 协议的生产级 Token 编解码组件 deepseek-recipe，官方称其支撑 DeepSeek-V4.1-Flash 规模化服务，单集群日吞吐 155 万亿 Tokens。
来源：Berry Xia (@berryxia) · x.com