Hugging Face Blog·· 3 小时前精选AI 评分67
VocabX：按成本重写词汇表，文章评分 SLM 推理成本下降 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 介绍了即将发表的 VocabX 方法，通过按生成 token 成本而非出现频率挑选词汇，将 Qwen3-4B 在葡萄牙语作文评分这一专用场景中的词汇规模从约 152,000 缩到约 65,000，使生成 token 数从 350 降到 101，RTX 5090 上 vLLM 实测推理成本下降 77.0%，bench 得分由 0.703 提升到 0.810。
推荐理由
在保持基座模型和数据不变的前提下，用按成本而非按频率挑选词汇的方法重写 tokenizer，可作为小模型专属推理优化的可迁移路径。
来源：Hugging Face Blog · huggingface.co