跳到正文
热点事件持续更新

论文提出优化生成式推荐波束搜索推理

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

Shing Wai Pun 等在 arXiv 发布论文,针对生成式推荐推理中长输入序列、宽 beam search 的场景提出优化方案。该方法用 Tree Attention 沿序列维度拼接 beam 以消除冗余 KV 访问,并配合预生成部分注意力掩码、静态 KV cache 分配、TorchAir 图编译和词表约束解码。 论文称,在不使用定制算子的条件下,该方法在昇腾 NPU 上的端到端时延较 vLLM 最高降低 25 倍,生成时延可媲美使用定制算子的 SOTA 方案。

AI 根据报道生成 · 21 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    先优化流水线再写算子:生成式推荐推理中 Beam Search 的优化研究

    一项 arXiv 研究针对生成式推荐(GR)推理中长输入序列、宽 beam search 的特点优化推理流水线。方案用 Tree Attention 沿序列维度拼接 beam、预生成部分注意力掩码、静态 KV cache 分配、TorchAir 图编译和词表约束解码,避免冗余 KV 访问与 PagedAttention 运行时块管理开销。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。