跳到正文
热点事件持续更新

Recursive CLIP:循环复用 Transformer 块

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Szymon Mazurek 等人在 arXiv 发布研究,提出通过递归复用 Transformer 块构建的 CLIP 模型族 rCLIP 与 r²CLIP:将 N 个块循环应用 M 次,保持与标准 ViT-B 相同的计算深度。rCLIP 仅让视觉编码器递归,r²CLIP 则连文本编码器也递归。 研究者称,这一做法旨在探究块复用在多大程度上能保留 CLIP 的可迁移能力,属于视觉-语言蒸馏方向的探索,目前为论文阶段的初步结果。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    Recursive CLIP:用循环复用 Transformer 块做视觉-语言蒸馏

    一项 arXiv 研究提出递归复用 transformer 块的 CLIP 模型族 rCLIP 与 r²CLIP:前者仅视觉编码器递归,后者文本编码器也递归,将 N 个块循环应用 M 次,保持与标准 ViT-B 相同的计算深度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。