FedPA-LoRA:乘积对齐缓解联邦 LoRA 聚合与初始化误差
热点事件持续更新
FedPA-LoRA:乘积对齐缓解联邦 LoRA 聚合与初始化误差
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Juseok Jeon 等作者发布 FedPA-LoRA 论文(arXiv:2608.15381v2),提出一个面向异构联邦 LoRA 微调的乘积对齐框架,同时缓解聚合失配与初始化失配,并给出同构与异构 rank 下的收敛界。 方法上,客户端跨轮保留本地因子并把乘积对齐到 rank 专属全局参考;服务器在乘积空间聚合异构 rank 更新并重构 rank 约束的全局 adapter,无需构建稠密聚合。 论文实验显示,在自然语言理解与生成任务上,该框架在数据与资源异构下取得一致提升,其中异构 rank 下平均 GLUE 准确率提升 6.82 个百分点,代码已开源。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:00
FedPA-LoRA:缓解异构联邦 LoRA 聚合与初始化误差的乘积对齐框架报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv cs.AIFedPA-LoRA:缓解异构联邦 LoRA 聚合与初始化误差的乘积对齐框架
论文提出 FedPA-LoRA,一个面向异构联邦 LoRA 微调的乘积对齐框架,同时缓解聚合失配与初始化失配。客户端跨轮保留本地因子并对齐乘积到 rank 专属全局参考,服务器在乘积空间聚合异构 rank 更新并重构 rank 约束的全局 adapter,无需构建稠密聚合。在自然语言理解与生成任务上,异构 rank 下平均 GLUE 准确率提升 6.82 个百分点,代码已开源。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。