S-SALAAD框架训练中联合学习结构化稀疏实现边缘高效推理

Tianxiang Xia 等发布论文提出 S-SALAAD 统一框架，在训练中联合学习模型权重及其低秩与结构化稀疏分量，支持硬件兼容的结构化稀疏模式，并配备专用 CPU 和 GPU kernel 加速推理。 在 Llama2 和 Qwen3 上的预训练与蒸馏实验显示，相对于所评估的基线，该方法在多个硬件平台的困惑度、内存和推理延迟上推进了经验 Pareto 前沿，使单个 checkpoint 可适配多内存预算并实现边缘设备部署。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。