Meta与纽约大学研究：视觉参数嵌入语言模型可省算力提速

Meta 与纽约大学发布一项视觉多模态模型架构研究，总结嵌入式视觉参数设计的核心结论：视觉编码器可跟随主模型从零一起训练，看图问答准确率不输预训练版本，且必须保留视觉独立参数，否则需 3 倍算力才能追平效果。 研究称，视觉专属参数放在语言模型前八层内最有效；嵌入设计省去外挂模块排队处理，1.7B 规模模型在 H200 显卡上的首字响应时间从 64 毫秒缩短到 37 毫秒。项目地址为 https://unbundling.github.io/ 。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。