研究者提出DeCLIP框架增强CLIP开放词汇密集感知

Junjie Wang 等研究者提出 DeCLIP 框架，将 CLIP 的自注意力模块解耦为内容特征和上下文特征，以增强开放词汇密集感知。其中上下文特征结合视觉基础模型（VFM）的语义关联与扩散模型的目标完整性线索进行蒸馏，内容特征则与图像裁剪表示对齐并由 VFM 区域相关性约束。 该方法在 2D 检测与分割、3D 实例分割、视频实例分割和 6D 物体位姿估计等任务上均取得 SOTA 性能，代码已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。