macOS 虚拟机中 Llama.cpp 实现 LLM 推理加速：M1 Ultra 上最高提升 16.36 倍

OmniTools 8月12日消息，研究团队为 macOS 虚拟机中的 Metal 能力查询构建了进程级兼容层，使 llama.cpp 可调用更新的 Metal 内核。在 M1 Ultra 芯片上，TinyLlama 1.1B 模型的提示处理速度提升 11.08 倍，token 生成速度提升 16.36 倍，性能达裸机水平的 98%；Gemma 4 12B 模型的提示处理与 token 生成速度分别提升 7.20 倍和 14.54 倍。该优化显著缩小了虚拟机环境与原生环境间的推理性能差距。