国内日均词元调用量突破500万亿,Mooncake用PD分离盘活存量算力
我国日均词元调用量已突破500万亿 | 据央视财经,最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨。智能算力短期补不上,只能向存量要...
AI 导读
据央视财经,国内日均词元调用量已突破500万亿,算力市场需求暴涨,智能算力短期补不上,只能向存量要效益。郑纬民院士团队2025年研发的大模型推理系统Mooncake凭PD分离技术获埃里克・里德尔最佳论文奖,P负责读入用户问题、D负责生成回答,让一组只读题、另一组专门答题;同样硬件规模下系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。