NVIDIA发布硬件引导自动模型压缩框架AutoCompress
热点事件持续更新
NVIDIA发布硬件引导自动模型压缩框架AutoCompress
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
NVIDIA在arXiv发布论文(2611.08290),提出AutoCompress,一个将延迟、吞吐量和显存等硬件约束直接纳入可微分架构搜索的LLM压缩框架,联合优化全局与逐层结构。 论文称,相比Minitron剪枝框架,AutoCompress在RTX 5070、RTX 5080和H100上八项基准的平均精度分别提升6.57、2.35和0.57个百分点;还将Nemotron 3.5 Super从120B压缩到74B参数,可在单块B200上以BF16、128K上下文部署,保留95%的平均基准得分。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
AutoCompress:硬件引导的自动化模型压缩框架报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AIAutoCompress:硬件引导的自动化模型压缩框架
AutoCompress 是一个硬件引导的 LLM 压缩框架,将延迟、吞吐量和显存等约束直接纳入可微分架构搜索,联合优化全局与逐层结构。相比 Minitron,其在 RTX 5070、RTX 5080 和 H100 上平均精度分别提升 6.57、2.35 和 0.57 个百分点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。