研究者提出硬件感知推测解码搜索引擎SpecSearch
热点事件持续更新
研究者提出硬件感知推测解码搜索引擎SpecSearch
1 篇报道1 个报道来源46 分钟前更新
先了解这件事
AI 综述
Selin Yildirim 等在 arXiv 论文(arXiv:2611.22296)中提出 SpecSearch,一种硬件感知的推测解码搜索引擎,可在不同工作负载与 GPU 组合下联合优化解码策略、草稿长度和精度。论文称,在 NVIDIA RTX 5090、H100、L40 和 AMD MI300X 上,经完整校准的 SpecSearch 平均吞吐量达 vLLM 服务下自回归解码的 2.01 倍、标准推测解码的 1.36 倍。 该方法用解析成本模型捕捉内存与算力约束,并以 LoRA 适配器微调冻结的 Qwen3-4B 训练 Jev 预测器,从而免除在部署 GPU 上的校准。
AI 根据报道生成 · 20 分钟前更新
最新进展11月18日 13:00
SpecSearch:面向硬件感知的高效投机解码方法报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AISpecSearch:面向硬件感知的高效投机解码方法
一项 arXiv 论文提出 SpecSearch,一种硬件感知的搜索引擎,可跨工作负载与 GPU 组合联合优化解码策略、草稿长度和精度。该方法基于解析成本模型捕捉内存与算力约束,并用 LoRA 适配器微调冻结的 Qwen3-4B 训练 Jev 预测器,免除部署 GPU 的校准。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。