VocabX定制小模型词表，实测推理成本降低77%

OmniTools 10月22日消息，Hugging Face 博客发布文章介绍了 Dharma-AI 团队的 VocabX 方法：针对单一领域或任务重新设计小模型词表，在不更换基座模型的情况下降低推理成本。文章称，该方法在一个基于 Qwen3-4B 的葡萄牙语作文自动评分系统中实测，推理成本下降 77.0%。

文章指出，通用模型词表会带来两类浪费：领域高频文本被拆成过多 token，同时词表包含大量领域几乎不用的条目。VocabX 按 token 的实际成本而非出现频率选择词表，并同时在子词层和多词层处理重复片段，将 JSON 外壳、固定表达等合并为宏 token。该评分系统的输出层从约 15.2 万行降至约 6.5 万行。

在评测中，团队用相同基座模型、数据、训练配方和随机种子训练了 7 个仅词表不同的评分器，并在 RTX 5090 与 vLLM 上运行 500 个请求。结果显示，模型平均响应从 350 个 token 降至 101 个 token，成本下降 77.0%，bench score 从 0.703 提升至 0.810。文章提到，相关 VocabX 论文仍在评审中，数据可能在正式发表前变化。