跳到正文
Hugging Face Daily Papers· Yanqing Liu, Letian Zhang, Chengzhi Liu, Zijun Wang, Jieru Mei, Hongliang Fei, Yuyin Zhou, Cihang Xie·· 2 天前AI 评分38

ALPS:面向世界模型的视觉状态编码器

ALPS: Visual State Encoders for World Models

AI 导读

研究者提出预训练视觉状态编码器 ALPS,将物理状态信息、语言对齐和像素重建统一在同一组 patch token 中。仅用静态图像与文本从零预训练 ViT-B/16,并通过跨视角自蒸馏精调。

来源:Hugging Face Daily Papers · arxiv.org