在近日举行的GTC人工智能大会上，专注于芯片制造的Nvidia发布了全新软件平台Nvidia NIM。作为NVIDIA AI Enterprise的重要组成部分，NIM旨在简化专有及预训练AI模型在生产环境中的部署流程，显著缩短产品上市时间。
NIM本质上是一组经过优化的云端微服务。它通过采用行业标准API，有效规避了为生产环境开发和打包AI模型的复杂性。目前，Box、Cloudera、Cohesity、Datastax、Dropbox及NetApp等企业已成为其用户。
NIM 支持的模型
NIM现已支持NVIDIA以及A121、Adept、Cohere、Getty Images和Shutterstock的模型。同时，Google、Hugging Face、Meta、Microsoft、Mistral AI及Stability AI的开源模型也在支持之列。
英伟达正与Amazon、Google和Microsoft深度合作，确保上述NIM微服务能分别在SageMaker、Kubernetes Engine及Azure AI平台上顺畅运行。此外，平台还将集成Deepset、LangChain和LlamaIndex等主流框架。
NIM 如何工作？
NIM通过将特定模型与优化推理引擎结合并封装至容器内，大幅提升了英伟达在推理及模型优化方面的软件易用性，使其以微服务形式更便捷地被调用。
在技术层面，推理引擎基于Nvidia Triton Inference Server、TensorRT及TensorRT-LLM构建。当前可用的微服务包括：用于定制语音和翻译模型的Riva、用于路由优化的cuOpt，以及用于天气气候模拟的Earth-2模型。
展望未来，公司计划将Nvidia RAG LLM操作器纳入NIM体系，并新增简化AI聊天机器人创建等功能，持续拓展平台能力边界。