跳到正文
热点事件持续更新

Prefrontal AI与ETH Zurich提出稀疏注意力LSA应对超长上下文

2 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

Prefrontal AI与苏黎世联邦理工学院(ETH Zurich)的研究者(含Ales Kubicek等)在arXiv发布论文,提出Latent Sparse Attention(LSA)稀疏注意力方法,面向100万以上token的超长上下文:将key在学习的潜在空间中分层聚类,query只需对簇层级打分,以实现亚二次复杂度。 论文称,在GLM-5.3-FLASH(QWEN-3.8-27B)上、1000万token长度下,D-LSA单层注意力在prefill阶段比其原有稀疏注意力加速22.7倍(比全注意力加速72.4倍),decode阶段加速4.6倍(比全注意力加速42.5倍),多种任务上精度相近;N-LSA在12.8万token下精度与全注意力相当,单层训练加速1.6倍。以上为论文作者声称的结果。

AI 根据报道生成 · 46 分钟前更新

事件进展

2 个进展

  1. 11月17日 11:48 · 1 篇报道
    发布Latent Sparse Attention论文
    36氪 · AI:Prefrontal AI 与 ETH Zurich 提出 Latent Sparse Attention,10M token 下 prefill 提速最高 72 倍
  2. 11月2日 13:00 · 1 篇报道
    提出Latent Sparse Attention高效注意力方法
    arXiv cs.AI:潜在稀疏注意力(LSA):迈向亚二次复杂度的超长上下文注意力

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. 36氪 · AI
    Prefrontal AI 与 ETH Zurich 提出 Latent Sparse Attention,10M token 下 prefill 提速最高 72 倍

    机器之心解读 Prefrontal AI 与苏黎世联邦理工学院发布的 Latent Sparse Attention 论文。

11月2日
  1. arXiv cs.AI
    潜在稀疏注意力(LSA):迈向亚二次复杂度的超长上下文注意力

    arXiv 论文提出 Latent Sparse Attention(LSA),一种在超长上下文(100 万以上 token)下保持精度的稀疏注意力方法:key 在学习的潜在空间中分层聚类,query 只对簇层级打分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。