VMonarch结构化稀疏注意力加速视频扩散Transformer
热点事件持续更新
VMonarch结构化稀疏注意力加速视频扩散Transformer
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Cheng Liang 等研究者提出 VMonarch，一种基于 Monarch 结构化矩阵的视频扩散 Transformer 注意力机制，用于高效处理动态稀疏时空注意力模式。该方法将注意力 FLOPs 降低 17.5 倍，长视频注意力计算加速超过 5 倍，作者称在 90% 稀疏度下超越现有稀疏注意力方法。
AI 根据报道生成 · 1 小时前更新
最新进展11月14日 13:00
VMonarch：用结构化注意力提升视频扩散 Transformer 效率报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AIVMonarch：用结构化注意力提升视频扩散 Transformer 效率
研究者提出 VMonarch，一种基于 Monarch 结构化矩阵的视频扩散 Transformer（DiT）注意力机制，可高效处理动态稀疏时空注意力模式。该方法将注意力 FLOPs 降低 17.5 倍，长视频注意力计算加速超过 5x，在 90% 稀疏度下超越现有稀疏注意力方法，且在 VBench 上经少量微调后生成质量与全注意力相当或更优。代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。