SharQ:免训练结合激活稀疏与FP4量化的推理方法
热点事件持续更新
SharQ:免训练结合激活稀疏与FP4量化的推理方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
SharQ 作者团队发布论文,提出一种免训练的 LLM 推理方法 SharQ,通过在线稀疏-稠密分解将激活稀疏化与 FP4 量化结合,无需校准数据、重训练或针对特定模型的调优。 论文称,在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 模型上,SharQ 可恢复 NVFP4 到 FP16 精度差距的 43–63%,并泛化到 NVFP4、HiF4 和 MXFP4 量化格式。
AI 根据报道生成 · 36 分钟前更新
最新进展11月20日 13:00
SharQ:面向 LLM 推理的激活稀疏与 FP4 量化结合方法报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AISharQ:面向 LLM 推理的激活稀疏与 FP4 量化结合方法
SharQ 是一种免训练的 LLM 推理方法,通过在线稀疏-稠密分解将激活稀疏化与 FP4 量化结合,无需校准数据或重训练。在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 上,它可恢复 NVFP4 到 FP16 精度差距的 43–63%,并泛化到 NVFP4、HiF4 和 MXFP4 格式。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。