研究者提出LISA线性索引稀疏注意力

论文作者在arXiv发布LISA（Linear-Indexed Sparse Attention），一种可即插即用替换自注意力的稀疏注意力方法，面向高效长上下文推理，称无需完整预训练。该方法结合线性注意力分支与Lightning Indexer动态选择相关token。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。