Toaster:级联线性记忆加target propagation构建非线性记忆
热点事件持续更新
Toaster:级联线性记忆加target propagation构建非线性记忆
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
Zeman Li 等人在 arXiv 发布论文《Toaster》,提出在两个线性记忆之间加激活函数、并用 target propagation 反传输出误差的方法,构建两层非线性记忆,各层仍可在未修改的 delta-rule 内核上运行。 论文称,在相同骨干和训练 token 预算下,Toaster 在 0.2B–1.6B 非嵌入参数的五个规模上,于 C4 和 PG19 两个数据集的损失均低于 KDA;13 个任务的平均三发准确率为 51.84%,高于 KDA 的 50.52% 和 Titans 的 50.04%。
AI 根据报道生成 · 15 分钟前更新
最新进展11月20日 13:00
Toaster:用级联线性记忆与 target propagation 构建非线性记忆报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIToaster:用级联线性记忆与 target propagation 构建非线性记忆
一篇 arXiv 论文提出 Toaster,通过两个线性记忆中间加激活函数并用 target propagation 反传输出误差,构建两层非线性记忆,各层仍可在未修改的 delta-rule 内核上运行。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。