AI2发布Olmo-core 3:面向大规模MoE模型的开源可扩展训练基础设施
艾伦人工智能研究所(AI2)正式发布Olmo core 3,一套专为大规模混合专家(MoE)语言模型设计的开源训练基础设施。该系统支持模型总参数量达1.2万亿,同时保持单token激活参数约32亿,在8块NVIDIA B300 GPU上实现52,000 tokens/秒/GPU的训练吞吐量,较前代提升约2.7倍。 Olmo core 3采用分布式数据并行(DDP)替代原有的全分片数据并行(FSDP),结合专家并行、流水线并行与分布式优化器,...