跳到正文
热点事件持续更新

研究者提出硬件感知推测解码搜索引擎SpecSearch

1 篇报道1 个报道来源46 分钟前更新

先了解这件事

AI 综述

Selin Yildirim 等在 arXiv 论文(arXiv:2611.22296)中提出 SpecSearch,一种硬件感知的推测解码搜索引擎,可在不同工作负载与 GPU 组合下联合优化解码策略、草稿长度和精度。论文称,在 NVIDIA RTX 5090、H100、L40 和 AMD MI300X 上,经完整校准的 SpecSearch 平均吞吐量达 vLLM 服务下自回归解码的 2.01 倍、标准推测解码的 1.36 倍。 该方法用解析成本模型捕捉内存与算力约束,并以 LoRA 适配器微调冻结的 Qwen3-4B 训练 Jev 预测器,从而免除在部署 GPU 上的校准。

AI 根据报道生成 · 20 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    SpecSearch:面向硬件感知的高效投机解码方法

    一项 arXiv 论文提出 SpecSearch,一种硬件感知的搜索引擎,可跨工作负载与 GPU 组合联合优化解码策略、草稿长度和精度。该方法基于解析成本模型捕捉内存与算力约束,并用 LoRA 适配器微调冻结的 Qwen3-4B 训练 Jev 预测器,免除部署 GPU 的校准。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。