跳到正文

媒体号

Gorden Sun (@Gorden_Sun)

共收录 34 条近 30 天 31 条

更新

收录归档 · 第 2 页

10月21日周三第 21–34 条
  1. Gorden Sun (@Gorden_Sun)48

    LLM 推理加速框架 EAGLE-4:辅助模型猜词、生成速度翻倍

    推理加速框架 EAGLE-4 通过小型辅助模型快速猜词、主模型批量检查的方式加速大语言模型推理,用户无需改动底层模型,安装 eagle_harness 扩展包并搭配 SGLang 或 vLLM 即可使用。官方在英伟达顶级显卡上用 Qwen 模型实测,单人提问生成速度接近原来的 3 倍,多任务并发时每秒生成字数普遍高出 35% 到 90%,且不降低回答质量。

2025年11月18日周二
2025年11月11日周二
2025年11月10日周一