研究者提出云边协同推理系统HyCoInfer
热点事件持续更新
研究者提出云边协同推理系统HyCoInfer
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zewen Huang 等研究者在 arXiv 发布论文,提出云边协同推理系统 HyCoInfer:将 prefill 分配给云端 GPU,decoding 分布到云端 GPU 与边缘 FPGA 上,通过队列负载、提示词长度和网络状态调度请求,并用分层流水线传输和基于残差向量量化的带宽自适应 KV cache 压缩来降低带宽压力。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
HyCoInfer:面向大语言模型的云边协同推理系统,在异构 GPU-FPGA 架构上提升服务吞吐报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AIHyCoInfer:面向大语言模型的云边协同推理系统,在异构 GPU-FPGA 架构上提升服务吞吐
论文提出 HyCoInfer 云边协同推理系统,将 prefill 分配给云端 GPU,并把 decoding 分布到云端 GPU 与边缘 FPGA 上。系统通过队列负载、提示词长度和网络状态调度请求,结合分层流水线传输与基于残差向量量化的带宽自适应 KV cache 压缩。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。