联合嵌入预测目标对纵向电子健康记录有效吗？JEPA 与 MLM 在 EHR 表征学习上的对比研究

一项基于 MIMIC-IV 的实证研究探讨 JEPA（联合嵌入预测架构）能否替代 MLM 用于纵向电子健康记录（EHR）的 transformer 编码器预训练。结果显示三种 JEPA 形式虽训练稳定、无表征坍塌，但下游性能始终不及标准 MLM；预测误差随目标尺寸而非异质性增大，且缩小目标也无法挽回性能。这表明仅靠稳定的潜空间预测不足以支撑有竞争力的 EHR 表征学习。