开源推理引擎 colibrì 支持在 25GB 内存设备运行 GLM-5.2 MoE 模型

OmniTools 7月10日消息，近日，开源推理引擎 colibrì v1.0 发布。该引擎以纯 C 语言实现且零运行时依赖，通过流式加载磁盘专家技术，可在常驻内存仅 9.9 GB 的消费级设备（约 25 GB RAM）上运行参数量达 744B 的 GLM-5.2 MoE 模型。

模型经 int4 量化后磁盘占用约 370 GB。该项目已在 GitHub 开源，具体冷解码速度等性能指标可参考项目仓库。