研究者提出DS-Upcycling多领域大模型升级方法

Mingzi Cao等研究者发表论文，提出面向多专业领域适配的大语言模型升级方法 DS-Upcycling：在 dense Transformer 层上添加专家和 router 进行升级改造，称其容量比 LoRA 多适配器方案更大。 论文称，每个领域仅需 256 个样本用于 router 监督，适配后路由准确率可达 90-98%，而未采用该方法训练的 router 准确率为 43-70%。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。