Tao Hu等提出CoPre-MoE缓解多模态持续微调遗忘与专家冗余
热点事件持续更新
Tao Hu等提出CoPre-MoE缓解多模态持续微调遗忘与专家冗余
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Tao Hu 等在 arXiv 论文中提出 CoPre-MoE,一种面向多模态持续指令微调的 MoE 方法:将跨任务功能重叠的专家整合进固定容量的通用专家池,并把任务专家分解为共享投影基与紧凑任务核心,以缓解专家冗余和参数线性增长。论文称,广泛实验表明该方法在大幅降低参数开销的同时取得更优性能。 在抑制遗忘方面,该方法用可学习检索键构建路由器,冻结历史键并对新增键施加正交惩罚,推理时无需测试时任务标签即可动态组合两类专家池。
AI 根据报道生成 · 3 小时前更新
最新进展11月16日 13:00
CoPre-MoE:面向多模态持续指令微调的专家整合与保留方法报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- arXiv cs.AICoPre-MoE:面向多模态持续指令微调的专家整合与保留方法
arXiv 论文提出 CoPre-MoE,一种用于多模态持续指令微调的 MoE 方法,通过将跨任务功能重叠的专家整合进固定容量的通用专家池,并把任务专家分解为共享投影基与紧凑任务核心,缓解专家冗余和参数线性增长。它用可学习检索键构建路由器,历史键冻结、新增键施加正交惩罚以抑制灾难性遗忘,推理时无需测试时任务标签即可动态组合两类专家池。实验显示其在降低参数开销的同时取得更优性能。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月16日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。