提出TRAG提升VLM零样本对抗鲁棒性

Yubo Cui等在arXiv发布论文，提出TRAG（Textual Response-Aware Guidance），利用预训练文本编码器对输入嵌入局部变化的响应方向与幅度构建锚点级约束，并按图文相关性聚合，以约束视觉表示漂移，从而提升视觉-语言模型的零样本对抗鲁棒性。 论文分析指出，现有对抗微调的两种引导方式——匹配视觉特征和匹配预测分布——各有局限。实验显示，TRAG在多架构、多任务上取得SOTA的干净与鲁棒性能，并有助于保持预训练图文关系。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。