研究揭示VLM对抗鲁棒性源于语言解码器

Arun Josephraj Arokiaraj 等研究者发表论文（arXiv:2610.03445，已被 NeurIPS 2026 VLM4RWD Workshop 接收），分析视觉语言模型 train/inference gap 的机制：针对 Qwen2.5-VL-7B-Instruct，用两阶段 PGD 攻击、基于 200 张 COCO 图像实验发现，对抗扰动可将固定目标描述的 teacher-forced 训练损失压至近零，但模型自由生成时仍输出原本的正确描述，目标内容毫无痕迹。 论文结论称，这种“内部被污染却输出正确”的现象由语言解码器先验主导，即模型的对抗鲁棒性主要来自解码器而非视觉编码器。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。