vLLM 教程：跨两台 NVIDIA DGX Station 部署 GLM-5.3，并发 16 时达 607.8 tok/s
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM
AI 导读
NVIDIA 开发者博客发布教程，展示如何用 vLLM 通过 ConnectX-8 RDMA 和张量并行（TP=2）在两台 DGX Station 的 GB300 GPU 上本地部署 7530 亿参数（每 token 激活 400 亿）的 GLM-5.3 NVFP4 MoE 模型。