Aritra Das 等提出线性化2-单纯形注意力
热点事件持续更新
Aritra Das 等提出线性化2-单纯形注意力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Aritra Das 等在 arXiv 论文(arXiv:2608.09307)中提出线性化 2-simplicial attention:将三线性分数改写为复合 query 与 key 的内积,用正随机特征近似,并以固定大小状态存储历史 key,从而把计算成本从序列长度的立方降到平方。 论文称,在 FineWeb-Edu 上以 15B 相同训练 token 训练时,该模型相比一个 KDA 混合模型将验证损失从 2.35 降至 2.32,LAMBADA 困惑度从 40 降至 38。
AI 根据报道生成 · 46 分钟前更新
最新进展11月20日 13:00
线性化 2-Simplicial Attention 论文发布于 arXiv报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI线性化 2-Simplicial Attention 论文发布于 arXiv
arXiv 论文提出线性化 2-simplicial attention,将三线性分数改写为复合 query 与 key 的内积,用正随机特征近似并以固定大小状态存储历史 key,把计算成本从序列长度的立方降到平方。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。