Balestriero 与 LeCun 将柏拉图表征假说证明为定理
先了解这件事
Randall Balestriero 与 Yann LeCun 发表论文,将柏拉图表征假设转化为定理:基于 JEPA 分别在任意数量模态上训练时,只要正样本对是同一场景的“好视图”且错位有界,各模态学到的表征至多差一个旋转,即本质相同。这意味着两个完全分开训练、无需图像文本配对的 JEPA(一个从同一场景的不同图像学习,另一个从其不同描述学习)可被证明学到本质相同的世界表征。Yann LeCun 转发了这一成果。 论文还包含对对齐缩放规律的验证。据 LeCun 转发时称,在跨模态对齐基准上,团队训练的 109M 参数文本 JEPA 优于最高 72B 参数的 LLM,且该方法用比下一词预测少 42 倍的训练样本达到相同的图文对齐效果。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 11月1日 14:28 · 1 篇报道LeCun转发论文:JEPA验证柏拉图表征假说Yann LeCun (@ylecun):Yann LeCun 与 Randall Balestriero 发论文论证柏拉图表示假说并提出 JEPA 实现路径
- 10月29日 04:00 · 2 篇报道论文证明柏拉图表征假设并给出改进方法Hugging Face Daily Papers:Balestriero 与 LeCun 用 JEPAs 证明并改进柏拉图表征假说
报道时间线
沿着报道,了解事件的不同侧面。
- Yann LeCun (@ylecun)Yann LeCun 与 Randall Balestriero 发论文论证柏拉图表示假说并提出 JEPA 实现路径
Yann LeCun 转发 alphaXiv 对其与 Randall Balestriero 论文的介绍,该论文论证了柏拉图表示假说,并数学上证明在特定条件下两个完全分开训练的 JEPA 可学到本质上相同的世界表示:一个从同一场景的不同图像学习,另一个从该场景的不同描述学习,无需图像文本配对训练。
- Yann LeCun (@ylecun)Randall Balestriero:Platonic Representation Hypothesis 被证明为定理,109M JEPA-Text 对齐视觉模型胜过 72B LLM
Yann LeCun 转发 Randall Balestriero 的成果:Platonic Representation Hypothesis 已成为定理——在不同模态上分别训练的 JEPA 可证明学到仅差一个旋转的相同表示。团队训练的 109M JEPA-Text 模型与视觉模型的对齐程度超过 72B LLM。
- Hugging Face Daily PapersBalestriero 与 LeCun 用 JEPAs 证明并改进柏拉图表征假说
Randall Balestriero 与 Yann LeCun 将柏拉图表征假说转化为定理:JEPA 在任意模态上分别训练,只要正样本对是同一场景的好视图且错位有界,就学到至多差一个旋转的同一表征。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月1日 15:00
- 近 24 小时变化
- +60%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。