arXiv论文提出First Passage Attention注意力机制
热点事件持续更新
arXiv论文提出First Passage Attention注意力机制
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Yuxuan Liu在arXiv（2610.22714）发布论文，提出First Passage Attention（FPA）注意力机制：用key-query路径上的极值（路径极值）替代传统遗忘门沿路径求和的衰减方式，使模型可选择性擦除中间上下文，同时保留更早的关键token。 论文称，在扩展到110M参数语言模型的实验中，FPA在困惑度上与FoX持平，并独特地在8倍训练长度的passkey检索中取得完美结果，且此时其key-value缓存被压缩至约25%。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 12:00
First Passage Attention：从路径求和到路径极值的注意力机制报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AIFirst Passage Attention：从路径求和到路径极值的注意力机制
arXiv 论文提出 First Passage Attention（FPA），用路径极值替代传统遗忘门沿 key-query 路径求和的衰减方式，可选择性擦除中间上下文并保留更早的关键 token。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。