AI2发布Olmo-core 3：面向大规模MoE模型的开源可扩展训练基础设施

OmniTools 10月1日消息，艾伦人工智能研究所（AI2）正式发布Olmo-core 3，一套专为大规模混合专家（MoE）语言模型设计的开源训练基础设施。该系统支持模型总参数量达1.2万亿，同时保持单token激活参数约32亿，在8块NVIDIA B300 GPU上实现52,000 tokens/秒/GPU的训练吞吐量，较前代提升约2.7倍。

Olmo-core 3采用分布式数据并行（DDP）替代原有的全分片数据并行（FSDP），结合专家并行、流水线并行与分布式优化器，并引入MXFP8低精度计算格式，在四卡B300测试中相较BF16提升约21%端到端训练吞吐量，峰值显存占用从103 GiB降至95 GiB。

该框架已用于下一代Olmo模型研发，支持随机路由基准测试达2.38万亿参数规模，并同步发布技术报告与开源代码，供研究者复现与定制化开发。