arXiv cs.AI· Tianhao Fu, Austin Wang, Charles Chen, Roby Aldave-Garza, Victor Xie, Xiyue Jiao, Yucheng Chen, Martin Tin·· 2 小时前AI 评分40
Varest:基于 LLM 前语义可变分辨率 Token 化与 LLM 内相关性剪枝的图像 Token 压缩
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
AI 导读
Varest 提出一种图像 token 压缩方法,利用语义可置换性:由物体和文本定位器引导可变分辨率合并,保留边界和文字细节,再通过可学习的 [REL] 寄存器在 decoder 早期处理后剪枝视觉 token。
来源:arXiv cs.AI · arxiv.org