arXiv cs.AI· Hannan Mahadik, David Salinas, Jacek Golebiowski, Aaron Klein·· 1 天前AI 评分44
DPO 超参数 landscape 的形态：测量什么、如何随规模变化、何时不可迁移
The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It
AI 导读
一项 arXiv 研究通过密集超参数网格实验，分析 DPO 最优超参数（学习率与参考策略正则化参数 β）如何随模型规模和更新步数变化。结果显示最优学习率随模型大小变化，超参数不可跨训练数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关，需针对目标模型、数据集和评测目标单独调优。研究还表明短期候选训练可大幅降低选择成本，并已开源全部训练配置与评测结果。
来源：arXiv cs.AI · arxiv.org