跳到正文
热点事件持续更新

CopyLoop:免训练算法加速循环Transformer解码

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Wenyu Du 等在 arXiv 发布预印本,提出免训练解码算法 CopyLoop,通过从重复上下文提出多 token 后缀、在浅层循环深度提前筛查错误分支并连续调度并发处理,加速循环 Transformer 解码。 据论文称,CopyLoop 相对全深度自回归解码,在 Base 模型上取得 2.98x–10.70x 加速,在 Thinking 模型上取得 2.74x–3.52x 加速。

AI 根据报道生成 · 42 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. arXiv cs.AI
    CopyLoop:通过上下文复制与浅层筛查实现快速循环 Transformer 解码

    CopyLoop 是一种免训练的循环 Transformer 解码加速算法,通过从重复上下文提出多 token 后缀,在浅层循环深度提前筛查错误分支,并配合连续循环调度并发处理。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。