arXiv cs.AI· Sahil Joshi, Prithvi Dixit, Aryan Katiyar, Agniva Chowdhury, Joseph E. Gonzalez, Anshumali Shrivastava, Aditya Desai, Kumar Krishna Agrawal·· 1 天前AI 评分36
分层稀疏注意力（SSA）：缩小极端稀疏度下稀疏与稠密注意力的差距
Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
AI 导读
研究者提出分层稀疏注意力（Stratified Sparse Attention, SSA），将确定性检索与分数引导采样结合，以恢复检索集合之外的注意力质量。
来源：arXiv cs.AI · arxiv.org