跳到正文
热点事件持续更新

FlashSampling论文提出LM头内精确采样kernel

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Tomas Ruiz、Zhen Qin、Yifan 等作者在 arXiv 发布 FlashSampling 论文,提出一种精确采样原语,将采样融合进 LM head 的矩阵乘法,不在 HBM 中生成 logits 张量。其做法是逐块计算 logits 并加入 Gumbel 噪声,保留每行最大值,从而实现与常规方式等价的精确采样。 据论文报告,在其测试的模型上,该方法可将每个输出 token 的时间最多减少 10%。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. arXiv cs.AI
    FlashSampling:快速且内存高效的精确采样

    FlashSampling 是一种精确采样原语,将采样融合进 LM head 矩阵乘法,无需在 HBM 中生成 logits 张量,通过逐块计算 logits 并加 Gumbel 噪声、保留每行最大值实现精确采样。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。