arXiv cs.AI· Babak Barazandeh·· 1 天前AI 评分41
LoRA 的秩到底买到了什么?一项谱与分布视角的低秩适应分析
What Does the Rank Buy? A Spectral and Distributional Analysis of Low-Rank Adaptation
AI 导读
一项 arXiv 研究分析 LoRA 中秩 r 的作用,证明在硬性逐因子范数预算(实践中权重衰减的理想化)下,秩并不控制模型容量:可达更新恰为核范数球内秩不超过 r 的矩阵,而各复杂度与位移泛函均由秩一更新取得最大值,线性读出模型类与 Rademacher 复杂度均与 r 无关。
来源:arXiv cs.AI · arxiv.org