跳到正文
热点事件持续更新

Stanford与UC Berkeley发布TokenGate论文,可学习token剪枝加速LLM prefill

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Stanford 与 UC Berkeley 研究团队于 10 月 25 日在 arXiv 发布论文 TokenGate(arXiv:2610.26754),提出基于可学习 token 剪枝的方法加速大语言模型的 prefill 阶段。论文称该方法在一系列任务上可将首 token 生成时间(time-to-first-token)提速 1.4 倍至 11.3 倍,prefill 期间峰值内存降低 1.5 倍至 3.4 倍,且无精度损失。 该方法作为轻量适配叠加在现有 transformer 架构之上,包括 Qwen3 以及 Qwen3.5 等混合注意力模型。代码已在 GitHub 的 token-gate-llms 组织下公开。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. Startup Fortune
    Stanford 与 UC Berkeley 研究者提出 TokenGate,将 LLM prefill 最高提速 11 倍

    Stanford 与 UC Berkeley 团队发布论文 TokenGate(arXiv:2610.26754,10 月 25 日),通过可学习的 token 剪枝方法加速大语言模型的 prefill 阶段。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。