arXiv cs.AI· Anissa Alloula, Charles Jones, Zuzanna Wakefield-Skorniewska, Francesco Quinzan, Bart{\l}omiej Papie\.z·· 1 天前AI 评分44
何时需要子群平衡？从潜在可分性预测微调性能敏感性
When does Subgroup Balance Matter? Predicting Performance Sensitivity from Latent Separability
AI 导读
一项 arXiv 研究提出“潜在分离假设”：微调模型对子群数据表示的依赖程度，取决于各子群在预训练模型潜在空间中的分离程度。作者对该假设进行形式化与理论分析，并在四个视觉和语言数据集上验证，还通过正则化实验提供了因果作用的初步证据。研究显示，对潜在子群分离的定量分析可指导微调基础模型时的数据收集与平衡决策。
来源：arXiv cs.AI · arxiv.org