跳到正文
热点事件持续更新

Toaster:级联线性记忆加target propagation构建非线性记忆

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

Zeman Li 等人在 arXiv 发布论文《Toaster》,提出在两个线性记忆之间加激活函数、并用 target propagation 反传输出误差的方法,构建两层非线性记忆,各层仍可在未修改的 delta-rule 内核上运行。 论文称,在相同骨干和训练 token 预算下,Toaster 在 0.2B–1.6B 非嵌入参数的五个规模上,于 C4 和 PG19 两个数据集的损失均低于 KDA;13 个任务的平均三发准确率为 51.84%,高于 KDA 的 50.52% 和 Titans 的 50.04%。

AI 根据报道生成 · 15 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Toaster:用级联线性记忆与 target propagation 构建非线性记忆

    一篇 arXiv 论文提出 Toaster,通过两个线性记忆中间加激活函数并用 target propagation 反传输出误差,构建两层非线性记忆,各层仍可在未修改的 delta-rule 内核上运行。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。