新论文诊断视觉语言模型跟随连续路径的脆弱性

Hyesoo Hong 等研究者发布论文《VLMs Trace Without Tracking》，系统性测试前沿视觉语言模型在受控设置下跟随连续视觉路径的能力，发现即使在没有邻近路径干扰的简单场景中追踪也很脆弱，表现为邻近路径存在时路径保持不稳定。 论文的内部表征分析显示，确定正确路径延续所需的信息在视觉编码阶段就已衰减。研究者还发现，扩大模型规模、增加推理和显式追踪指令均无法有效解决该问题，在更真实场景中失败同样持续存在。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。