Dooly：配置无关的 LLM 推理模拟剖析方法
热点事件持续更新
Dooly：配置无关的 LLM 推理模拟剖析方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Joon Ha Kim 等在 arXiv 发布论文并提出 Dooly，一种配置无关、冗余感知的 LLM 推理延迟剖析工具，已开源。它通过污点传播标注输入维度来源，只对延迟数据库中缺失的算子做剖析，并复用 serving engine 初始化代码来隔离 attention 等有状态算子。论文称，在 12 个模型上，Dooly 的模拟精度达到 TTFT 的 MAPE 在 5% 以内、TPOT 在 8% 以内，同时比现有剖析方法减少 56.4% 的剖析 GPU 时。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
Dooly：面向 LLM 推理仿真的配置无关、冗余感知 profiling 方法报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AIDooly：面向 LLM 推理仿真的配置无关、冗余感知 profiling 方法
arXiv 论文提出 Dooly，一种配置无关、冗余感知的 LLM 推理 profiling 工具，通过污点传播标注输入维度来源，仅对延迟数据库中缺失的算子进行 profiling，并复用 serving engine 初始化代码隔离 attention 等有状态算子。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。