Latent-Lens：让冻结VLM与SLM在潜空间通信的轻量编解码器

Mo Shahdloo 等研究者在 arXiv 发布论文，提出 Latent-Lens——一种轻量级编解码器，让冻结的视觉语言模型（VLM）与冻结的小语言模型（SLM）直接在潜在空间通过隐藏状态通信，无需解冻或微调任一模型。整个训练仅涉及约 1.6M 参数，占合并后模型大小的 0.2%。 研究者还在 TinyLlama-1.1B 与 InternVL2-1B 上评估了该方法，这两组模型使用不同的架构、词表和隐藏维度，用于验证其在不同模型组合间的适用性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。