RECAP：免训练的多模态投机解码预测复用方法

Hengjie Zhu 等在 arXiv 发布论文，提出免训练的多模态投机解码预测复用方法 RECAP：用一至三 token 键存储目标模型预测，区分仅限当前请求的上下文记忆与跨请求持久的 token 级记忆，并以熵置信度加权融合检索结果，无需训练或辅助草稿模型。 论文实验显示，在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 上，RECAP 在七个单轮基准测试中相对自回归解码分别取得平均 1.66 倍和 1.56 倍的加速。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。