Mesh LLM 开源项目支持跨设备 GPU 池化与分布式大模型推理

OmniTools 7月12日消息，Mesh LLM 是一个开源分布式人工智能计算框架，可将多台设备的 GPU 和内存资源池化，并提供兼容 OpenAI API 的接口。项目基于 iroh 网络库实现点对点通信，无需依赖中央服务器。

该系统支持三种推理模式：本地 GPU 执行、请求路由至已加载模型的节点，或通过内部代号为“Skippy”的机制，将大模型按层流水线式拆分至多台机器协同运行。

Mesh LLM 内置超 40 个模型，参数规模覆盖 5 亿至 235B MoE；软件体积约 18 MB，启动后默认在 localhost:9337/v1 提供服务。