arXiv cs.AI· Bang An, Yibo Yang, Philip Torr, Bernard Ghanem·· 1 天前AI 评分40
PAVE：通过知识感知的任务向量净化缓解模型合并冲突
Mitigating Model Merging Conflicts via Knowledge-Aware Task Vector Purification
AI 导读
研究者提出 PAVE（Purifying TAsk Vectors）方法，在知识感知子空间中对任务向量进行净化，以缓解模型合并中因任务无关冗余导致的性能下降。该方法采样各任务的训练样本获取协方差矩阵，执行面向上下文的奇异值分解，将微调权重拆分为任务相关与冗余成分并剪枝冗余部分，同时引入谱秩分配策略平衡各模型的剪枝力度。
来源：arXiv cs.AI · arxiv.org