NVIDIA 开源 Model Optimizer 统一模型优化库

OmniTools 9月25日消息，NVIDIA 近日开源 Model Optimizer，这是一个支持量化、剪枝、神经架构搜索、知识蒸馏、推测解码和稀疏化等前沿技术的统一模型优化库。

该工具可对深度学习模型进行压缩与优化，并导出为 TensorRT-LLM、TensorRT、vLLM 等主流推理框架兼容的检查点格式。

项目代码已发布于 GitHub，面向开发者提供开箱即用的模型优化能力。