跳到正文
热点事件持续更新

Aritra Das 等提出线性化2-单纯形注意力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Aritra Das 等在 arXiv 论文(arXiv:2608.09307)中提出线性化 2-simplicial attention:将三线性分数改写为复合 query 与 key 的内积,用正随机特征近似,并以固定大小状态存储历史 key,从而把计算成本从序列长度的立方降到平方。 论文称,在 FineWeb-Edu 上以 15B 相同训练 token 训练时,该模型相比一个 KDA 混合模型将验证损失从 2.35 降至 2.32,LAMBADA 困惑度从 40 降至 38。

AI 根据报道生成 · 46 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    线性化 2-Simplicial Attention 论文发布于 arXiv

    arXiv 论文提出线性化 2-simplicial attention,将三线性分数改写为复合 query 与 key 的内积,用正随机特征近似并以固定大小状态存储历史 key,把计算成本从序列长度的立方降到平方。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。