arXiv cs.AI· Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi·· 1 天前AI 评分39
内存受限 LLM 推理服务中的服务性拥塞研究
Service-Induced Congestion in Memory-Constrained LLM Serving
AI 导读
一项针对内存受限 LLM 推理服务的研究建立了离散时间动力学模型，分析连续批处理下的请求准入、key-value cache 内存增长与驱逐机制。研究表明同质负载下无驱逐均衡不稳定，系统收敛到最坏极限环，吞吐量损失可高达 50%；而异质负载中互质的解码长度可稳定无驱逐均衡。论文据此推导了维持高吞吐的调度设计原则，v3 新增 GPU 基准实验附录。
来源：arXiv cs.AI · arxiv.org