SlackTier 论文提出 LLM 查找表分层放置方法

Wen Huang 与 Jack Liu 在 arXiv:2611.13413 发布论文 SlackTier，为 SGLang 构建查找表分层，在每步开始时发出全部查找请求，以降低 DeepSeek-V4.1 的 Engram n-gram 表内存占用。该表目前占用 4-GPU 推理进程 223 GiB 主机内存中的 190 GiB。 论文称，将两张表放在四块 NVMe 磁盘上时，在 agent 和 chat 回放中，每输出 token 的平均耗时相比未修改的 SGLang 最多上升 1.4%，主机内存从 212 GiB 降至 34 GiB。若通过 RDMA 从另一节点内存读取，两张表无需缓存，一份副本可服务两个实例。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。