研究者提出SD-LoRA:训练时结构蒸馏用于少样本视觉语言适配
热点事件持续更新
研究者提出SD-LoRA:训练时结构蒸馏用于少样本视觉语言适配
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者发布SD-LoRA论文,提出一种仅在训练时使用结构蒸馏的少样本视觉语言适配框架:用token级异构图teacher建模patch、全局-局部及视觉-文本关系,再通过隐式蒸馏与Prototype Predictive Alignment将结构偏置迁移进轻量的LoRA适配CLIP模型。 推理时图teacher被丢弃,预测只需一次CLIP-LoRA前向计算加基于缓存的分类器,代码已开源。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
SD-LoRA:将训练时结构蒸馏融入 LoRA 的小样本视觉语言适配方法报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AISD-LoRA:将训练时结构蒸馏融入 LoRA 的小样本视觉语言适配方法
研究者提出 SD-LoRA,一种结构蒸馏框架,仅在训练时用异构图 teacher 建模 patch、全局-局部及视觉-文本关系,再通过隐式蒸馏与 Prototype Predictive Alignment 将结构偏置迁移进轻量 CLIP-LoRA,推理时丢弃图结构,仅需一次 CLIP-LoRA 前向加缓存分类器。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。