跳到正文
arXiv cs.AI· Samkit Jain, Sai Kishan Pampana, Shlok Agarwal·· 1 天前AI 评分43

MLIPS:多层索引器池共享,让稀疏注意力免去逐层全前缀扫描

MLIPS: Multi-Layer Indexer Pool Sharing

AI 导读

arXiv 论文提出 MLIPS,一种无需训练的多层索引器池共享方法:由生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层自行从中选 top-K,保留各自的打分与选择。

来源:arXiv cs.AI · arxiv.org