论文提出OpenAttention稀疏注意力方法
热点事件持续更新
论文提出OpenAttention稀疏注意力方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Hyunwoo Yu 等在 arXiv 发布论文 OpenAttention，提出一种稀疏注意力方法：通过聚类、ErrorGate 和 top-k 选择，并对未被读取的尾部 KV cache 用计数感知均值代理（少量 tail proxies）来近似稠密注意力。 论文称，在 RULER-32K HARD 上用 Llama-3.1-8B 测试，读取 1% 的 KV cache 时可保留 99% 的稠密注意力准确度；其定制的 attention kernel 使 decode 阶段的注意力计算在 1% 读取时比稠密注意力快 10 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
OpenAttention：用尾部代理实现 1% 读取即够用的稀疏注意力报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AIOpenAttention：用尾部代理实现 1% 读取即够用的稀疏注意力
论文提出 OpenAttention 稀疏注意力方法，通过聚类、ErrorGate 和 top-k 选择加上计数感知均值代理来处理稀疏注意力中未被读取的尾部 KV cache。在 RULER-32K HARD 上用 Llama-3.1-8B 测试，1% 读取时保留 99% 的稠密注意力准确度。其定制 attention kernel 使 decode 阶段比稠密注意力快 10 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。