Debopam Sanyal等提出SVD-Attention注意力分析方法

Debopam Sanyal 等在 arXiv 发布论文，提出 SVD-Attention：一种分析 Transformer 注意力块低秩结构的事后方法。它对每头 query-key 交互矩阵做分解，按谱幅度和激活方差为各奇异模式打分，对保留模式的分解是精确的，无需微调。作者称它是分析工具而非压缩方法。 在 7 个预训练模型和 5 类任务上，该方法发现冗余在情感、图像分类和生成任务中位于早中层，在密集预测和抽取式问答中位于晚层；截断其标记的层最多损失 1.75 F1，而截断其他同数层最多损失 50 F1。 作者称该方法单独使用可减少 0.8–1.5% 推理 FLOPs，与权重剪枝组合后减少 8–11%，任务质量变化为 0–4%。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。