DeepSeek-V4 Flash 强化学习训练适配 AMD MI355X GPU

OmniTools 7月11日消息，DeepSeek-V4 Flash 的强化学习训练现已适配 AMD Instinct MI355X GPU，基于 ROCm 软件栈运行，由 Miles 框架提供底层支持。

该模型为 2840 亿参数 MoE 架构，每 token 激活 130 亿参数，训练流程依赖 SGLang 进行 rollout 生成、Megatron 执行策略更新，Miles 负责异步循环与权重同步。

研发团队攻克了 SGLang 与 Megatron 间的模型对齐、量化状态在线更新及多节点并行稳定性三项关键技术难点，在四个八 GPU 节点上完成端到端验证：连续超过 100 个优化器步骤中训练-rollout 对数概率差保持可控，同时在线奖励持续提升，离线 AIME-2024 基准分数同步上升。