PayPal发布基于Envoy的Cosmos LLM网关设计论文

PayPal 团队在 arXiv 发布论文，介绍其基于 Envoy 的企业级大模型网关 Cosmos LLM Gateway 的设计与生产运行情况，该网关统一治理来自多厂商的 LLM 流量。 据论文数据，截至 2026 年 9 月，该网关服务超过 1.2 万名开发者和数百个业务场景，每天处理约 2000 亿 token，覆盖 100 多个模型，对业务的可用性达 99.999%。性能方面，在两台 4 vCPU 实例上以每秒超过 2200 个请求运行时，中位延迟开销为 4 毫秒，p99 为 11 毫秒。

AI 根据报道生成 · 34 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。