跳到正文
热点事件持续更新

研究者提出SD-LoRA:训练时结构蒸馏用于少样本视觉语言适配

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

研究者发布SD-LoRA论文,提出一种仅在训练时使用结构蒸馏的少样本视觉语言适配框架:用token级异构图teacher建模patch、全局-局部及视觉-文本关系,再通过隐式蒸馏与Prototype Predictive Alignment将结构偏置迁移进轻量的LoRA适配CLIP模型。 推理时图teacher被丢弃,预测只需一次CLIP-LoRA前向计算加基于缓存的分类器,代码已开源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.AI
    SD-LoRA:将训练时结构蒸馏融入 LoRA 的小样本视觉语言适配方法

    研究者提出 SD-LoRA,一种结构蒸馏框架,仅在训练时用异构图 teacher 建模 patch、全局-局部及视觉-文本关系,再通过隐式蒸馏与 Prototype Predictive Alignment 将结构偏置迁移进轻量 CLIP-LoRA,推理时丢弃图结构,仅需一次 CLIP-LoRA 前向加缓存分类器。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。