Fast-dLLM++提出Fréchet profile解码加速扩散LLM推理

Fast-dLLM++ 作者团队在 arXiv 发布论文，提出免训练的 Fréchet profile decoding：从完整排序置信度分布而非单一最坏情况置信度中选择并行提交集合，用于加速扩散大语言模型推理。该方法是对 Fast-dLLM 同质高置信假设的异质置信度推广。 论文称，这种基于置信度分布的选择能利用最弱token规则遗漏的安全并行性，在相近精度下吞吐量最高提升 37%。Fast-dLLM++ 不改变模型、扩散过程和缓存实现，可直接替换现有 Fast-dLLM 解码。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。