Meta开源多模态MoE模型Muse Spark Open：8160亿参数，支持百万级上下文与智能体编程

OmniTools 10月16日消息，Meta正式开源前沿多模态专家混合（MoE）模型Muse Spark Open。该模型总参数量约8160亿，每Token激活参数约420亿，支持最高100万Token上下文窗口，可统一处理文本、图像、音频和视频输入并输出文本。

架构方面，Muse Spark Open包含62层网络，每层MoE模块设有256个专家，路由机制每次仅激活8个专家。其内置感知编码器与音频编码器，可高效处理多模态数据。模型提供BF16与NVFP4两种权重格式，分别适配大规模分布式集群与NVIDIA Blackwell GPU单节点部署。

该模型专为智能体（Agentic）编程任务优化，擅长多文件重构、长周期调试及结合图像理解的网页浏览。它与Meta此前发布的轻量级模型Muse Glimmer共享分词器与对话模板。目前，Hugging Face已同步上线模型权重、推理代码及微调指南。