GRAM 模型合并方法论文发布
热点事件持续更新
GRAM 模型合并方法论文发布
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
研究者 Di Wu、Shuaidong Pan 在 arXiv 发布论文,提出分组秩感知模型合并方法 GRAM。该方法利用任务向量的主角度几何决定哪些任务合并为一组,再在各组内进行 SVD 合并,仅需微调权重即可完成。 论文称,仅增加 1 个额外模型(K=2)时,GRAM 可显著缓解子空间干扰问题,并在 GLUE(Flan-T5)、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的中英文医疗 LoRA 指令微调上超越现有合并方法。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
GRAM:基于子空间对齐的分组秩感知模型合并方法报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv cs.AIGRAM:基于子空间对齐的分组秩感知模型合并方法
研究者提出分组秩感知模型合并方法 GRAM,利用任务向量的主角度几何决定哪些任务合并为一组,再在各组内做 SVD 合并,仅需微调权重即可完成。仅增加 1 个额外模型(K=2)时,GRAM 显著缓解子空间干扰问题,在 GLUE(Flan-T5)、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的中英文医疗 LoRA 指令微调上均超越现有合并方法。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。