Dooly：面向 LLM 推理仿真的配置无关、冗余感知 profiling 方法
Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation
AI 导读
arXiv 论文提出 Dooly，一种配置无关、冗余感知的 LLM 推理 profiling 工具，通过污点传播标注输入维度来源，仅对延迟数据库中缺失的算子进行 profiling，并复用 serving engine 初始化代码隔离 attention 等有状态算子。
来源：arXiv cs.AI · arxiv.org