高斯先验何时失效？RL 微调下潜空间几何的研究
When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning
AI 导读
一项 arXiv 研究指出，RL 微调会放大 VAE 高斯先验导致的多模态重叠问题。在 alanine-dipeptide Boltzmann 分布上，高斯先验在 beta_c = 0.224 崩溃，而 mode-tracked 高斯混合先验为 0.00316，相差 71 倍。研究将差距归因于几何中介量 d_min/(2 sigma_0)，并提出仅在重叠几何且覆盖敏感任务下才需改用非高斯先验。
来源：arXiv cs.AI · arxiv.org