Wenfei Cao等提出HARP方法压缩Mamba-2循环状态
热点事件持续更新
Wenfei Cao等提出HARP方法压缩Mamba-2循环状态
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Wenfei Cao等在arXiv提交论文，提出后训练压缩方法HARP，可对Mamba-2的固定大小循环状态做截断压缩：将状态维度减半时，130M至2.7B规模模型的WikiText-2困惑度平均仅上升0.3点（1.8%）。校准只需一次前向传播，据论文称比GHOST已发布的校准流程快一个数量级，峰值内存也更低。 方法核心是一项研究观察：Mamba-2状态的能量虽近似rank-one，但集中在输出端不读取的方向上，因此压缩应针对写入-读取子空间。HARP据此实现平衡状态子空间截断，并利用Mamba-2的标量-恒等转移精确执行旋转，同时提供逐层秩分配。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
基于平衡状态子空间的 Mamba-2 状态压缩方法报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AI基于平衡状态子空间的 Mamba-2 状态压缩方法
arXiv 论文提出一种后训练变换方法，对 Mamba-2 的固定大小循环状态做压缩：研究发现状态能量近似 rank-one 但集中于输出不读取的方向，压缩应针对写入-读取子空间。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。