视觉语言模型左右关系识别失效的诊断与零参数修复

Mahdi Mostajabdaveh 与 Zirui Zhou 在 arXiv 论文中诊断对比式视觉语言模型左右空间关系识别失败的原因：十种编码器中九种在原生打分下接近随机，属于相似度无法读取嵌入中关系的“访问失败”；受控实验还证实池化丢失极性而 patch 网格保留极性的“池化失败”。两种成因需要相反的修复方式。 研究者提出零参数的空间矩读出方法，在 118,287 张图片索引上将左右配对准确率从 0.51-0.53 提升至 0.81-0.96，每批查询耗时不足一毫秒。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。