Prefrontal AI与ETH Zurich提出稀疏注意力LSA应对超长上下文
热点事件持续更新
Prefrontal AI与ETH Zurich提出稀疏注意力LSA应对超长上下文
2 篇报道2 个报道来源1 小时前更新
先了解这件事
AI 综述
Prefrontal AI与苏黎世联邦理工学院(ETH Zurich)的研究者(含Ales Kubicek等)在arXiv发布论文,提出Latent Sparse Attention(LSA)稀疏注意力方法,面向100万以上token的超长上下文:将key在学习的潜在空间中分层聚类,query只需对簇层级打分,以实现亚二次复杂度。 论文称,在GLM-5.3-FLASH(QWEN-3.8-27B)上、1000万token长度下,D-LSA单层注意力在prefill阶段比其原有稀疏注意力加速22.7倍(比全注意力加速72.4倍),decode阶段加速4.6倍(比全注意力加速42.5倍),多种任务上精度相近;N-LSA在12.8万token下精度与全注意力相当,单层训练加速1.6倍。以上为论文作者声称的结果。
AI 根据报道生成 · 46 分钟前更新
事件进展
2 个进展
- 11月17日 11:48 · 1 篇报道发布Latent Sparse Attention论文36氪 · AI:Prefrontal AI 与 ETH Zurich 提出 Latent Sparse Attention,10M token 下 prefill 提速最高 72 倍
- 11月2日 13:00 · 1 篇报道提出Latent Sparse Attention高效注意力方法arXiv cs.AI:潜在稀疏注意力(LSA):迈向亚二次复杂度的超长上下文注意力
报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- 36氪 · AIPrefrontal AI 与 ETH Zurich 提出 Latent Sparse Attention,10M token 下 prefill 提速最高 72 倍
机器之心解读 Prefrontal AI 与苏黎世联邦理工学院发布的 Latent Sparse Attention 论文。
11月2日
- arXiv cs.AI潜在稀疏注意力(LSA):迈向亚二次复杂度的超长上下文注意力
arXiv 论文提出 Latent Sparse Attention(LSA),一种在超长上下文(100 万以上 token)下保持精度的稀疏注意力方法:key 在学习的潜在空间中分层聚类,query 只对簇层级打分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。