跳到正文
热点事件持续更新

Tao Hu等提出CoPre-MoE缓解多模态持续微调遗忘与专家冗余

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Tao Hu 等在 arXiv 论文中提出 CoPre-MoE,一种面向多模态持续指令微调的 MoE 方法:将跨任务功能重叠的专家整合进固定容量的通用专家池,并把任务专家分解为共享投影基与紧凑任务核心,以缓解专家冗余和参数线性增长。论文称,广泛实验表明该方法在大幅降低参数开销的同时取得更优性能。 在抑制遗忘方面,该方法用可学习检索键构建路由器,冻结历史键并对新增键施加正交惩罚,推理时无需测试时任务标签即可动态组合两类专家池。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    CoPre-MoE:面向多模态持续指令微调的专家整合与保留方法

    arXiv 论文提出 CoPre-MoE,一种用于多模态持续指令微调的 MoE 方法,通过将跨任务功能重叠的专家整合进固定容量的通用专家池,并把任务专家分解为共享投影基与紧凑任务核心,缓解专家冗余和参数线性增长。它用可学习检索键构建路由器,历史键冻结、新增键施加正交惩罚以抑制灾难性遗忘,推理时无需测试时任务标签即可动态组合两类专家池。实验显示其在降低参数开销的同时取得更优性能。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月16日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。