arXiv cs.AI· Nikolaos Gkalelis, Vasileios Mezaris·· 1 天前AI 评分34
LLaVA-CKD：面向视觉语言模型的自底向上级联知识蒸馏方法
LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models
AI 导读
研究者提出 LLaVA-CKD，一种自底向上级联知识蒸馏（CKD）框架，通过引入中等容量的中间教师逐步缩小师生容量差距，提升从大模型向小模型的知识迁移效果，并给出理论分析。该方法基于 LLaVA 架构构建模型，在七个公开 VQA 基准上评测，性能与近期紧凑型 VLM 相当。级联蒸馏源代码和训练好的模型已开源。
来源：arXiv cs.AI · arxiv.org