arXiv cs.AI· Yubing Wu, Wei Chen, Junmei Yang, Delu Zeng, Tiewen Pan·2026-10-23 12:00· 2 小时前AI 评分38

DPO 计算图的随机剪枝：训练提速 1.4 倍并降低峰值显存

Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory

AI 导读

一项 arXiv 研究提出对 DPO 计算图进行随机剪枝的统一框架，独立采样打分位置、执行前缀与反向传播分支。Branch 剪枝相对拼接 DPO 基线实现 1.426x 步进加速，比标准 DPO 缩短约 30% 训练时间；位置与序列剪枝主要降低峰值显存。代价是平均准确率略降，开放式分数随基准而异。