跳到正文
arXiv cs.AI· Yuxuan Liu·· 2 小时前AI 评分43

First Passage Attention:从路径求和到路径极值的注意力机制

First Passage Attention

AI 导读

arXiv 论文提出 First Passage Attention(FPA),用路径极值替代传统遗忘门沿 key-query 路径求和的衰减方式,可选择性擦除中间上下文并保留更早的关键 token。

来源:arXiv cs.AI · arxiv.org