英伟达提出AI内存全栈协同设计 Vera Rubin平台单GPU HBM容量仅增约3% 推理吞吐量最高提升30倍

英伟达11月5日发布文章，提出通过GPU、CPU、网络、存储及软件协同设计提升AI内存使用效率，而非单纯增加GPU内存容量。具体做法包括用NVFP4低精度格式压缩模型权重和KV Cache、将不活跃上下文转移至低成本存储层、多GPU分布式部署释放HBM空间。