研究发现MRoPE给文本的2D坐标几乎无益甚至有害
热点事件持续更新
研究发现MRoPE给文本的2D坐标几乎无益甚至有害
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zhaoyi Liu 等研究者在 arXiv 发表论文，将 MRoPE（多模态旋转位置编码）中的视觉内部空间编码与跨模态空间效应解耦研究，发现在多个模型规模、MRoPE 变体和 benchmark 上的受控实验中，MRoPE 赋予文本 token 的高度和宽度坐标带来的跨模态空间效应几乎没有额外益处，甚至损害模型性能。 研究同时发现视觉内部空间编码仍然有效，对细粒度 grounding 有帮助。研究者认为，共享坐标布局的约束是难以消除跨模态空间效应的原因。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
解耦视觉语言模型中的多模态旋转位置编码 MRoPE报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI解耦视觉语言模型中的多模态旋转位置编码 MRoPE
一项 arXiv 研究解耦了 MRoPE 中视觉内部空间编码与跨模态空间效应，通过多模型规模、多种 MRoPE 变体和多个 benchmark 上的受控实验发现：MRoPE 给文本 token 赋予的高度和宽度坐标带来的跨模态空间效应几乎没有额外益处，甚至损害模型性能；而视觉内部空间编码仍对细粒度 grounding 有效。研究还指出了共享坐标布局的约束是难以消除跨模态空间效应的原因。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。