Paul Raj等提出DuplexTune：MoE模型省显存微调框架
热点事件持续更新
Paul Raj等提出DuplexTune：MoE模型省显存微调框架
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Paul Raj等在arXiv发布论文，提出DuplexTune框架，通过耦合隐状态回放和可训练宽度桥接双残差流，对预训练MoE大语言模型进行省显存微调，过程中先桥接预热再适配骨干，路由权重保持冻结。 在Qwen1.5-MoE-A2.7B上的单卡H800实验中，该方法峰值显存为38.8 GB，低于使用梯度检查点的监督微调的64.8 GB，吞吐量为25.1样本/秒，高于后者的19.9样本/秒，但多语言得分弱于带梯度检查点的基线。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
DuplexTune：面向 MoE 大语言模型的高效微调框架，提出耦合状态回放方法报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIDuplexTune：面向 MoE 大语言模型的高效微调框架，提出耦合状态回放方法
arXiv 论文提出 DuplexTune 框架，通过耦合隐状态回放实现对预训练 MoE 语言模型的省显存微调，采用可训练宽度桥接双残差流，先桥接预热再适配骨干，路由权重保持冻结。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。