arXiv cs.AI· Mattias D\"urrmeier, Alberto Lerner·· 1 天前AI 评分42
数据系统视角下的 LLM 长上下文本地推理分析
Local Inference of LLMs on Long Contexts: A Data Systems Perspective
AI 导读
一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间，且其现有结构使关键 GPU 资源利用不足，最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题，并以实验观察和建议的形式供数据系统社区参考。
来源：arXiv cs.AI · arxiv.org