Hugging Face Daily Papers· Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang, Yu Wang·· 3 天前AI 评分44
Cache Engineering for Agents：让 LLM 智能体直接控制 KV cache
Cache Engineering for Agents
AI 导读
一项新研究提出 cache engineering 方案，让 LLM 智能体在不修改轨迹、不重新 prefill 的前提下直接控制活跃 KV cache，可通过 drop 排除选中缓存、用 repos 调整保留键的位置编码，并配套设计了 AKV serving 引擎。
来源：Hugging Face Daily Papers · arxiv.org