跳到正文
热点事件持续更新

SharQ:免训练结合激活稀疏与FP4量化的推理方法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

SharQ 作者团队发布论文,提出一种免训练的 LLM 推理方法 SharQ,通过在线稀疏-稠密分解将激活稀疏化与 FP4 量化结合,无需校准数据、重训练或针对特定模型的调优。 论文称,在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 模型上,SharQ 可恢复 NVFP4 到 FP16 精度差距的 43–63%,并泛化到 NVFP4、HiF4 和 MXFP4 量化格式。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    SharQ:面向 LLM 推理的激活稀疏与 FP4 量化结合方法

    SharQ 是一种免训练的 LLM 推理方法,通过在线稀疏-稠密分解将激活稀疏化与 FP4 量化结合,无需校准数据或重训练。在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 上,它可恢复 NVFP4 到 FP16 精度差距的 43–63%,并泛化到 NVFP4、HiF4 和 MXFP4 格式。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。