跳到正文
热点事件持续更新

研究者提出云边协同推理系统HyCoInfer

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Zewen Huang 等研究者在 arXiv 发布论文,提出云边协同推理系统 HyCoInfer:将 prefill 分配给云端 GPU,decoding 分布到云端 GPU 与边缘 FPGA 上,通过队列负载、提示词长度和网络状态调度请求,并用分层流水线传输和基于残差向量量化的带宽自适应 KV cache 压缩来降低带宽压力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    HyCoInfer:面向大语言模型的云边协同推理系统,在异构 GPU-FPGA 架构上提升服务吞吐

    论文提出 HyCoInfer 云边协同推理系统,将 prefill 分配给云端 GPU,并把 decoding 分布到云端 GPU 与边缘 FPGA 上。系统通过队列负载、提示词长度和网络状态调度请求,结合分层流水线传输与基于残差向量量化的带宽自适应 KV cache 压缩。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。