Hugging Face Blog·· 2 小时前精选AI 评分65
Hugging Face 官方介绍 VocabX:按成本定制词表,领域模型推理成本降 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Hugging Face 官方博客介绍 Dharma-AI 即将发布的 VocabX 方法,按每个 token 的成本而非频率定制词表,在葡萄牙语作文自动评分器中把实测推理成本降低 77.0%,基准分从 0.703 升至 0.810。
推荐理由
原文给出按 token 成本而非频率定制词表、实测推理成本降 77% 的方法与跨域对比,可迁移到同类领域模型。
来源:Hugging Face Blog · huggingface.co