LLM 推理加速框架 EAGLE-4：辅助模型猜词、生成速度翻倍

推理加速框架 EAGLE-4 通过小型辅助模型快速猜词、主模型批量检查的方式加速大语言模型推理，用户无需改动底层模型，安装 eagle_harness 扩展包并搭配 SGLang 或 vLLM 即可使用。官方在英伟达顶级显卡上用 Qwen 模型实测，单人提问生成速度接近原来的 3 倍，多任务并发时每秒生成字数普遍高出 35% 到 90%，且不降低回答质量。