研究者提出跨阶段在线数据混合算法 OP-Mix

Michael Y. Hu 等在 arXiv 发布论文，提出覆盖预训练、midtraining 和指令微调全生命周期的数据混合算法 OP-Mix，将数据混合视为在线决策问题。该方法通过在当前模型上训练的低秩 adapter 之间插值来低成本模拟候选配比，无需单独的代理模型。 论文称，在预训练中 OP-Mix 相比不做数据混合的训练平均困惑度提升 6.3%，并能在分别节省 66% 和 95% 总计算量的情况下达到重新训练和在线蒸馏两种方法的性能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。