跳到正文
热点事件持续更新

BoostLoRA:梯度提升式低秩适配的参数高效微调方法

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Raviteja Anantha 等人在 arXiv 提出 BoostLoRA,一种基于梯度提升的参数高效微调框架:迭代训练超低秩适配器,并在当前模型答错的样本上训练,再将适配器合并进模型。 方法采用 ROTATE SVD 正交子空间轮换策略,据论文称可使累积有效秩随轮次线性增长;适配器合并后即被丢弃,不增加推理开销。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    BoostLoRA:通过迭代 Boosting 适配器提升有效秩的参数高效微调方法

    BoostLoRA 是一种基于梯度提升的参数高效微调框架,通过迭代训练并合并超低秩适配器、以 ROTATE SVD 正交子空间轮换策略使累积有效秩随轮次线性增长,且合并后不留推理开销。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。