CRAFT 框架将医疗 VLM 两类安全失效定位到因果注意力头

Chunzheng Zhu 等提出 CRAFT 框架，将医疗视觉语言模型的两类安全失效——图像判断被文本上下文压过的仲裁失效，和证据不足仍自信作答的刹车失效——分别定位到空间上不重叠的最小因果注意力头集合，并用时间探针和 Tuned Lens 轨迹分析验证了定位的必要性。 定位结果显示，仲裁头分布在中到深层的宽频带，刹车头集中在中到晚层的窄频带。该框架在多个医疗 VQA 基准和多种 VLM 架构上完成验证，代码已公开。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。