DuoJEPA 提出在不对齐嵌入空间间做跨模态翻译的方法

Gokmen 等在 arXiv 发布 DuoJEPA 论文，提出在两个模态的嵌入空间保持不对齐的情况下实现跨模态检索与分类。传统做法通常先对齐两个模态的嵌入空间，该方法则不做这一步。 具体做法是：每个模态用自监督 LeJEPA 目标训练一个编码器，再在编码器后接一个单独的 transformer 翻译层，把该模态的嵌入转换到另一个编码器的空间中；翻译层用完全在目标空间内计算的对比目标监督。论文称由此可实现跨模态检索与分类。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。