新研究分析视觉CNN亚4比特量化崩溃机制与混合精度恢复极限
热点事件持续更新
新研究分析视觉CNN亚4比特量化崩溃机制与混合精度恢复极限
1 篇报道1 个报道来源22 分钟前更新
先了解这件事
AI 综述
Michael Schroeder 在 arXiv 论文 2611.23445 中系统分析了 ResNet、EfficientNet 等视觉 CNN 在 4-bit 以下量化时崩溃的机制,发现在 ImageNet-1k 5 万张验证集上,崩溃高度非线性,集中在后期 pointwise 投影和 depthwise 层。 论文提出混合精度恢复方法,称将少于 5% 的关键层激活保留在 8-bit 精度,即可恢复激进亚 4-bit 压缩所损失精度的高达 92%。但按论文所述,标准运行时软件位解包会带来 1.48x 到 21.5x 的执行减速,具体取决于批次大小。
AI 根据报道生成 · 11 分钟前更新
最新进展11月20日 13:00
为什么 4-bit 以下视觉 CNN 会崩溃:混合精度恢复的极限分析报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI为什么 4-bit 以下视觉 CNN 会崩溃:混合精度恢复的极限分析
一项新研究系统分析了 ResNet、EfficientNet 等 Vision CNN 在 4-bit 以下量化时崩溃的机制,发现在 ImageNet-1k 5 万张验证集上,崩溃高度非线性,集中在后期 pointwise 投影和 depthwise 层。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。