NVIDIA发布压缩混合MoE模型Nemotron-Labs-3-Puzzle-75B-A9B

OmniTools 7月9日消息，NVIDIA于7月9日推出Nemotron-3-Super的压缩变体Nemotron-Labs-3-Puzzle-75B-A9B。该模型总参数量由120.7B降至75.3B，活跃参数量由12.8B降至9.3B，维持88块混合架构（40个Mamba模块、40个MoE专家、8个注意力层）。

在8×B200节点上，于8K/64K上下文且用户吞吐量≥100 tok/s条件下，服务器吞吐量提升2.03倍；单H100 GPU支持的1M-token并发请求从1提升至8，权重占用从70 GB减少至44.5 GB。迭代式Puzzle方法平均得分较单步方法高0.57分。

性能权衡方面，Arena-Hard-V2基准下降4.2分，SWE-Bench下降2.6分。Hugging Face已提供BF16、FP8及NVFP4格式检查点。