First Passage Attention:从路径求和到路径极值的注意力机制
First Passage Attention
AI 导读
arXiv 论文提出 First Passage Attention(FPA),用路径极值替代传统遗忘门沿 key-query 路径求和的衰减方式,可选择性擦除中间上下文并保留更早的关键 token。
来源:arXiv cs.AI · arxiv.org
First Passage Attention
arXiv 论文提出 First Passage Attention(FPA),用路径极值替代传统遗忘门沿 key-query 路径求和的衰减方式,可选择性擦除中间上下文并保留更早的关键 token。
来源:arXiv cs.AI · arxiv.org