研究揭示 LLM decode 阶段功率上限的假象：锁 SM 时钟能省最多 32% 能耗
The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures
AI 导读
一篇 arXiv 论文（arXiv:2605.11999，已被 PPAM 2026 接收）发现功率上限对主导 LLM 服务的自回归 decode 几乎无效。
推荐理由
原文用 H200 实测指出功率上限对 decode 几乎无效，并给出锁 SM 时钟能省最多 32% decode 能耗的可操作替代方案。
正文 · AI 翻译
摘要：功率封顶（power capping）是 LLM 服务中常用的 GPU 能耗调节手段，而且看起来行之有效：设定上限后，GPU 报告的功耗低于该上限，能耗预算得以满足。我们表明，该上限对于 LLM 服务中占主导地位的阶段——自回归解码——几乎没有作用。在 vLLM eager 执行模式下，我们在 NVIDIA H200 上测试了四种注意力范式（GQA、MLA、Gated DeltaNet 和 Mamba2），解码 kernel 在等待 HBM，且 kernel 启动之间存在 GPU 空闲，因此解码功耗不足 GPU 700W 额定功率的一半，并且在我们设定的每个上限下吞吐量变化都在几个百分点以内。只有在大批量长时间生成时功率上限才会生效。改为锁定 SM 时钟可以在不拖慢受内存限制的解码的情况下降低功耗，在吞吐量损失极小的情况下最多可节省 32% 的解码能耗。我们识别出三类依赖于架构的频率调节行为，并发现，一旦在不使用前缀缓存的情况下测量 prefill，循环架构不会付出 prefill 代价：它们的线性时间混合在长提示上优于二次复杂度的注意力，因此其高效解码进一步叠加了 prefill 节省，在大批量下从第一个输出 token 开始就降低了总请求能耗。
| 评论： | 被 PPAM 2026（第 16 届并行处理与应用数学国际会议）接收 |
| 学科： | 分布式、并行与集群计算 (cs.DC)；人工智能 (cs.AI)；机器学习 (cs.LG)；性能 (cs.PF) |
| 引用格式： | arXiv:2605.11999 [cs.DC] |
| （或 arXiv:2605.11999v2 [cs.DC] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.11999 通过 DataCite 获取 arXiv 签发的 DOI |
提交历史
来自：Bole Ma [查看邮件]
[v1]
2026 年 5 月 12 日 星期二 11:48:16 UTC (237 KB)
[v2]
2026 年 10 月 29 日 星期四 15:43:01 UTC (158 KB)
来源：arXiv cs.AI · arxiv.org