TokenSpeed 推理引擎架构与优化实践
热点事件持续更新
TokenSpeed 推理引擎架构与优化实践
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
TokenSpeed 团队分享了面向 Agentic 推理的开源推理引擎 TokenSpeed 的架构设计与性能优化方法。该引擎针对多轮短请求循环的 Agent 负载设计，优化目标是延迟约束下的吞吐最大化：内部指标为每用户 TPS 不低于 70，batch size 等于 1 时端到端延迟比 TensorRT-LLM 快 9%，每用户 100 TPS 工作点上单 GPU 吞吐高 11%。 技术内容涵盖 TokenSpeed 的分层架构、KV Cache 管理与 Kernel 优化。该项目开源数月，仍在快速迭代之中。
AI 根据报道生成 · 1 小时前更新
最新进展11月12日 19:24
TokenSpeed：构建面向 Agentic 推理的下一代 LLM 推理引擎报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- 36氪 · AITokenSpeed：构建面向 Agentic 推理的下一代 LLM 推理引擎
推理引擎 TokenSpeed 针对多轮短请求循环的 Agent 负载设计，以延迟约束下的吞吐为优化目标：内部指标为每用户 TPS 不低于 70，batch size 等于 1 时端到端延迟比 TensorRT-LLM 快 9%，每用户 100 TPS 工作点上单 GPU 吞吐高 11%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。