Hugging Face Daily Papers· Tianze Xia, Xiaoling Zhou, Ruya Lan, Yiqiao Liao, Chengru Song, Shiming Xiang·· 2 天前AI 评分40
ALLOT：按输出分配块稀疏注意力的免训练视频 Diffusion Transformer 加速方法
Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
AI 导读
研究提出 ALLOT，一种免训练的块稀疏注意力分配方法，用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元，通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献，并在实测延迟预算下联合优化单元密度。
来源：Hugging Face Daily Papers · arxiv.org