跳到正文
arXiv cs.AI· Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh·· 1 天前AI 评分33

OPTIMA:基于二次规划重构的大语言模型最优单次剪枝方法

OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction

AI 导读

arXiv 论文提出 OPTIMA,一种实用的单次训练后剪枝方法,将掩码选择后的逐层权重重构转化为共享 Hessian 的逐列二次规划(QP),可批量在加速器上并行求解。

来源:arXiv cs.AI · arxiv.org