FlashSampling论文提出LM头内精确采样kernel
热点事件持续更新
FlashSampling论文提出LM头内精确采样kernel
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Tomas Ruiz、Zhen Qin、Yifan 等作者在 arXiv 发布 FlashSampling 论文,提出一种精确采样原语,将采样融合进 LM head 的矩阵乘法,不在 HBM 中生成 logits 张量。其做法是逐块计算 logits 并加入 Gumbel 噪声,保留每行最大值,从而实现与常规方式等价的精确采样。 据论文报告,在其测试的模型上,该方法可将每个输出 token 的时间最多减少 10%。
AI 根据报道生成 · 3 小时前更新
最新进展11月16日 13:00
FlashSampling:快速且内存高效的精确采样报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- arXiv cs.AIFlashSampling:快速且内存高效的精确采样
FlashSampling 是一种精确采样原语,将采样融合进 LM head 矩阵乘法,无需在 HBM 中生成 logits 张量,通过逐块计算 logits 并加 Gumbel 噪声、保留每行最大值实现精确采样。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。