Tom's Hardware 科普 LLM 关键概念：KV cache、权重、量化与推理如何运作
A primer on key AI LLM concepts — KV cache, weights, quantization, and how inference actually works
AI 导读
Tom's Hardware 发布一篇 LLM 核心概念入门，解释模型、权重、量化、上下文窗口、KV cache、MoE、RAG 及推理的 Prefill 与 Decode 两阶段。文章说明 KV cache 可在会话内复用以省去重复计算，Decode 受内存带宽限制，并以 Speculative Decode 和 MTP 等技术加速生成。