WIS-MeZO稀疏扰动零阶优化方法
热点事件持续更新
WIS-MeZO稀疏扰动零阶优化方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Ziqing Wen等研究者提出WIS-MeZO方法并发布论文（arXiv:2611.16317），该方法利用Wanda权重-激活显著性构建任务条件化的稀疏扰动掩码，在保持预训练模型稠密的同时降低大语言模型零阶微调的搜索维度。 在3B到32B参数的LLaMA和Qwen模型的16个benchmark上，WIS-MeZO取得高于MeZO的总得分，并以更少优化步数达到相当的验证损失。与随机及幅度稀疏扰动的对比凸显了信息性坐标选择的重要性。
AI 根据报道生成 · 2 小时前更新
最新进展11月14日 13:00
WIS-MeZO：基于 Wanda 显著性的稀疏扰动高效零阶优化方法报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AIWIS-MeZO：基于 Wanda 显著性的稀疏扰动高效零阶优化方法
研究者提出 WIS-MeZO，利用 Wanda 权重-激活显著性构建任务条件化的稀疏扰动掩码，在保持预训练模型稠密的同时降低大语言模型零阶微调的搜索维度。在 3B 到 32B 参数的 LLaMA 和 Qwen 模型的 16 个 benchmark 上，该方法取得高于 MeZO 的总得分，并以更少优化步数达到相当的验证损失。与随机及幅度稀疏扰动的对比凸显了信息性坐标选择的重要性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。