GRAM:基于子空间对齐的分组秩感知模型合并方法
GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment
AI 导读
研究者提出分组秩感知模型合并方法 GRAM,利用任务向量的主角度几何决定哪些任务合并为一组,再在各组内做 SVD 合并,仅需微调权重即可完成。仅增加 1 个额外模型(K=2)时,GRAM 显著缓解子空间干扰问题,在 GLUE(Flan-T5)、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的中英文医疗 LoRA 指令微调上均超越现有合并方法。
来源:arXiv cs.AI · arxiv.org