GigaToken 发布：语言模型分词速度最高提升约 1000 倍

OmniTools 7月23日消息，GigaToken 是一款新发布的语言模型分词器，宣称可在 AMD EPYC 9565 双路 144 核 CPU 上实现 GPT-2 分词吞吐量达 24.53 GB/s。

该工具在相同硬件环境下，分词速度较 HuggingFace Tokenizers 提升约 989 倍，较 tiktoken 提升约 681 倍。

项目开源地址已发布，官方称其可无缝替代现有 HuggingFace Tokenizers。