跳到正文
热点事件持续更新

LinkedIn 团队提出 Trie-Head 解码与共享上下文注意力提升生成式检索吞吐

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

LinkedIn 团队在 arXiv 发布论文,提出生成式检索方法 Trie-Head:将标识符 trie 存为 GPU 张量的模型原生输出接口,避免 Python 约束回调与全词表候选缓冲,无需重训练即保持原始模型的有效 token 分数;并配合共享上下文注意力在多个 beam 间复用 prompt 的 key/value 块。 两种机制在 SGLang 中实现,评测覆盖 LinkedIn Hiring Assistant 的候选来源与 Qualification Retrieval Platform 的资格检索。论文称在 beam 宽度 200 的 CLP 负载上,组合系统闭环吞吐较 CLP 基线最高提升 5.57 倍,较 BF16 FlashRec 最高提升 2.63 倍。

AI 根据报道生成 · 19 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    Trie-Head:基于 Trie 解码与共享上下文注意力的高效宽束生成式检索

    提出生成式检索方法 Trie-Head,将标识符 trie 存为 GPU 张量的模型原生输出接口,避免 Python 约束回调与全词表候选缓冲,无需重训练即可保持原始模型有效 token 分数;配合共享上下文注意力在多个 beam 间复用 prompt 的 key/value 块。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。