SplitLite 压缩分割联邦学习通信量
热点事件持续更新
SplitLite 压缩分割联邦学习通信量
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Tao Li 等发布论文 SplitLite（v3），提出一种面向分割联邦 LoRA 微调的通信压缩方法，利用相邻 epoch 间激活与梯度残差的低有效秩特性，仅传输量化截断 SVD 残差因子。论文称该方法可将激活上行通信成本最多降低 93.5%、总通信成本最多降低 88.6%，且不损失模型性能。实验在 GLUE 基准和多款端侧 LLM 上进行。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
SplitLite：面向分割学习的低秩残差压缩方法报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AISplitLite：面向分割学习的低秩残差压缩方法
论文提出 SplitLite，一种通信高效的分割联邦 LoRA 微调方法，利用相邻 epoch 间激活与梯度残差的低有效秩特性，仅传输量化截断 SVD 残差因子。在 GLUE 基准和多款端侧 LLM 上的实验显示，激活上行通信成本最多降低 93.5%，总通信成本最多降低 88.6%，且不损失模型性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。