SAKURA:面向手机端私密图像编辑的注意力 KV 状态速率自适应服务架构
SAKURA: Serving Attention Key-Value State Under Rate Adaptation for Private Image Editing on Phones
AI 导读
SAKURA 是一种云边架构,在带宽受限下向手机提供可复用的注意力 KV 状态,用于模板化私密图像编辑。它通过细粒度 token 重要性感知压缩和按网络带宽自适应选择缓存表示,并采用流水线运行时重叠传输与端侧执行。
来源:arXiv cs.AI · arxiv.org