行业观察社区讨论 · 待核实 · x.com
Perplexity 开源优化版 Unigram 分词器，CPU 占用降低 5–6 倍
OmniTools 5月28日消息，Perplexity 官方宣布开源其重新构建的 Unigram 分词器。该工具专为降低 CPU 资源消耗设计，实测可将 CPU 占用减少 5 至 6 倍。
团队指出，随着小型重排序器和嵌入模型在 GPU 上的推理耗时已压缩至个位数毫秒，CPU 端的分词操作已成为整体延迟的关键瓶颈。此次开源旨在优化该环节。
项目代码已托管至 GitHub：https://github.com/perplexityai/pplx-garden