模型发布媒体报道 · github.com
Colibri发布:纯C实现的MoE模型推理引擎,支持磁盘流式加载专家模块
OmniTools 9月10日消息,开源项目Colibri正式发布,这是一个用纯C语言编写的混合专家(MoE)模型推理引擎。项目强调零外部依赖,可在现有硬件上直接运行前沿MoE模型。
该引擎体积精简,支持专家模块从磁盘流式加载,降低内存占用,提升大模型部署灵活性。项目代码托管于GitHub,当前处于公开开发阶段。
OmniTools 9月10日消息,开源项目Colibri正式发布,这是一个用纯C语言编写的混合专家(MoE)模型推理引擎。项目强调零外部依赖,可在现有硬件上直接运行前沿MoE模型。
该引擎体积精简,支持专家模块从磁盘流式加载,降低内存占用,提升大模型部署灵活性。项目代码托管于GitHub,当前处于公开开发阶段。