Specter：通过量化驱动的多步推测卸载加速 MoE 推理

推理系统 Specter 将量化与推测解码、专家卸载结合，用量化轻量草稿模型预测未来专家激活，让运行时提前调度专家的搬运与执行，缓解 PCIe I/O 瓶颈。单请求推理下，Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x，最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用，代码已开源。