arXiv cs.AI· Guodong Du, Wanyu Lin·· 1 天前AI 评分46
DiDi-Merging 动态模型合并方法被 NeurIPS 2026 接收
Dynamic Model Merging Made Slim
AI 导读
提出 DiDi-Merging,通过可微秩选择和数据无关的参数空间精炼,在共享与专家参数间联合分配低秩容量。在八任务 ViT-B/32 基准上,小配置以单主干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中配置 1.4 倍存储达 89.8%;去除精炼会使中配置下降 4.3 个百分点。该方法已被 NeurIPS 2026 接收,代码已开源。
来源:arXiv cs.AI · arxiv.org