TokenSpeed：构建面向 Agentic 推理的下一代 LLM 推理引擎

推理引擎 TokenSpeed 针对多轮短请求循环的 Agent 负载设计，以延迟约束下的吞吐为优化目标：内部指标为每用户 TPS 不低于 70，batch size 等于 1 时端到端延迟比 TensorRT-LLM 快 9%，每用户 100 TPS 工作点上单 GPU 吞吐高 11%。