ADIndex:面向DSA稀疏注意力的蒸馏索引方法
热点事件持续更新
ADIndex:面向DSA稀疏注意力的蒸馏索引方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
论文作者发布ADIndex,一种面向DeepSeek Sparse Attention(DSA)token级稀疏注意力的自适应蒸馏索引方法,针对indexer在长上下文推理中可占超50% prefill GPU时间的问题,引入层级校准、组级蒸馏和token bank共享的低延迟推理策略。 论文作者称,在DeepSeek-V3.2和GLM-5.1上的实验显示,ADIndex在LongBench、LongBench v2和RULER上保持近乎无损的任务表现。该效果目前为论文作者的实验结论。
AI 根据报道生成 · 2 小时前更新
最新进展11月11日 13:00
ADIndex:基于组级蒸馏的层级自适应稀疏注意力索引方法报道时间线
沿着报道,了解事件的不同侧面。
11月11日
- arXiv cs.AIADIndex:基于组级蒸馏的层级自适应稀疏注意力索引方法
ADIndex 是一种面向 DeepSeek Sparse Attention(DSA)token 级稀疏注意力的自适应蒸馏索引方法,针对 indexer 在长上下文推理中可占超 50% prefill GPU 时间的问题,引入层级校准、组级蒸馏和 token bank 共享的低延迟推理策略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。