NVIDIA 持续提升吞吐量：100-200 tokens/秒的推理速度正变成新的“批处理模式”
NVIDIA is continuing to push throughput, and I think that makes sense. We need more tokens, and we need them cheaper. But what used to feel fast at 10...
AI 导读
NVIDIA 持续推动推理吞吐量提升，以提供更多、更便宜的 tokens。过去感觉够快的 100 到 200 tokens/秒的推理速度，正在迅速变成新的“批处理模式”。seanlie 在与 @swyx 的 @latentspacepod 对谈中讨论了推理速度预期正在如何变化。
来源：seanlie(@ seanlie) · x.com