研究者提出LEMS与KFAC-SVD改进基于SVD的大模型压缩
热点事件持续更新
研究者提出LEMS与KFAC-SVD改进基于SVD的大模型压缩
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Moritz Thoma 等研究者在 arXiv 论文（arXiv:2610.32878）中提出 LEMS（逐层误差建模搜索）和 KFAC-SVD 两种方法，改进基于低秩 SVD 的大语言模型压缩，针对的是全局秩分配不准与 Fisher 估计秩坍缩两个局限。 据论文报告，在 Mistral、Qwen3 和 Llama 3 模型家族上，LEMS 零样本准确率最高提升 4.8 个百分点，方法可推广至 70B 参数规模；KFAC-SVD 平均困惑度改善 15%。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
基于 SVD 的 LLM 压缩新方法：LEMS 与 KFAC-SVD 通过逐层误差搜索提升效果报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AI基于 SVD 的 LLM 压缩新方法：LEMS 与 KFAC-SVD 通过逐层误差搜索提升效果
研究者提出 LEMS 和 KFAC-SVD 两种方法改进基于低秩 SVD 的大语言模型压缩，解决全局秩分配不准与 Fisher 估计秩坍缩两大局限。在 Mistral、Qwen3 和 Llama 3 模型家族上，LEMS 零样本准确率最高提升 4.8 p.p.，可推广至 70B 参数规模，KFAC-SVD 平均困惑度改善 15%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。