研究显示JEPA在纵向EHR表示学习上不敌MLM
热点事件持续更新
研究显示JEPA在纵向EHR表示学习上不敌MLM
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Ashvin Gupta等人在arXiv:2610.29528发布论文，比较JEPA与MLM用于纵向电子健康记录（EHR）transformer编码器预训练的效果。基于MIMIC-IV的实证结果显示，三种JEPA形式虽训练稳定、无表征坍塌，但下游性能始终不及标准MLM。 论文还发现JEPA的预测误差随目标尺寸而非异质性增大，缩小目标也无法挽回性能。作者称这表明仅靠稳定的潜空间预测不足以支撑有竞争力的EHR表示学习。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
联合嵌入预测目标对纵向电子健康记录有效吗？JEPA 与 MLM 在 EHR 表征学习上的对比研究报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AI联合嵌入预测目标对纵向电子健康记录有效吗？JEPA 与 MLM 在 EHR 表征学习上的对比研究
一项基于 MIMIC-IV 的实证研究探讨 JEPA（联合嵌入预测架构）能否替代 MLM 用于纵向电子健康记录（EHR）的 transformer 编码器预训练。结果显示三种 JEPA 形式虽训练稳定、无表征坍塌，但下游性能始终不及标准 MLM；预测误差随目标尺寸而非异质性增大，且缩小目标也无法挽回性能。这表明仅靠稳定的潜空间预测不足以支撑有竞争力的 EHR 表征学习。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。