跳到正文
Hugging Face Blog·· 17 小时前AI 评分56

Dharma-AI 详解 VocabX 词表特化方法如何将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma-AI 在博客中介绍其即将发布论文的 VocabX 方法,按每个 token 的成本而非频率为领域模型重建词表。其基于 Qwen3-4B 的葡萄牙语作文评分系统中,模型响应从平均 350 token 降至 101 token,在 RTX 5090 与 vLLM 上实测推理成本下降 77.0%,bench 分数从 0.703 升至 0.810。

来源:Hugging Face Blog · huggingface.co