跳到正文
热点事件持续更新

研究者提出Kernel Ridge Attention序列混合器

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Haowei Chen、Yichen Wang和Congfu Xu在arXiv提交论文,提出Kernel Ridge Attention(KRA),一种结合学习非线性特征与协引导记忆更新的循环序列混合器。 KRA通过递归岭回归存储关联,用内容相关的Ornstein–Uhlenbeck转移控制记忆保留与遗忘,推理状态大小与上下文长度无关,并支持分布式并行训练。论文称,在受控语言建模实验中,KRA预测质量优于attention和循环基线,联想召回强于所评估的循环模型。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Kernel Ridge Attention:带选择性遗忘的非线性记忆序列模型

    arXiv 论文提出 Kernel Ridge Attention(KRA),一种结合学习非线性特征与协方差引导记忆更新的循环序列混合器。它通过递归岭回归存储关联,用内容相关的 Ornstein–Uhlenbeck 转移控制记忆保留与遗忘,推理状态大小与上下文长度无关。在受控语言建模实验中,KRA 预测质量优于 attention 和循环基线,联想召回强于所评估的循环模型,并支持分布式并行训练。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。