研究者提出Kernel Ridge Attention序列混合器
热点事件持续更新
研究者提出Kernel Ridge Attention序列混合器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Haowei Chen、Yichen Wang和Congfu Xu在arXiv提交论文,提出Kernel Ridge Attention(KRA),一种结合学习非线性特征与协引导记忆更新的循环序列混合器。 KRA通过递归岭回归存储关联,用内容相关的Ornstein–Uhlenbeck转移控制记忆保留与遗忘,推理状态大小与上下文长度无关,并支持分布式并行训练。论文称,在受控语言建模实验中,KRA预测质量优于attention和循环基线,联想召回强于所评估的循环模型。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
Kernel Ridge Attention:带选择性遗忘的非线性记忆序列模型报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIKernel Ridge Attention:带选择性遗忘的非线性记忆序列模型
arXiv 论文提出 Kernel Ridge Attention(KRA),一种结合学习非线性特征与协方差引导记忆更新的循环序列混合器。它通过递归岭回归存储关联,用内容相关的 Ornstein–Uhlenbeck 转移控制记忆保留与遗忘,推理状态大小与上下文长度无关。在受控语言建模实验中,KRA 预测质量优于 attention 和循环基线,联想召回强于所评估的循环模型,并支持分布式并行训练。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。