在今天的 GTC 大会上，英伟达宣布推出 Nvidia NIM。这是一个全新的软件平台，旨在简化自定义和预训练 AI 模型在生产环境中的部署。NIM 将英伟达在推理和优化模型方面的软件工作变得易于获取，它将给定模型与优化的推理引擎相结合，打包到容器中，并以微服务的形式提供访问。
英伟达认为，通常情况下开发人员需要数周甚至数月才能交付类似的容器，且这还假设公司拥有内部 AI 人才。通过 NIM，英伟达旨在创建一个 AI 就绪的容器生态系统：以其硬件作为基础层，精选的微服务作为核心软件层，帮助希望加速 AI 路线图的公司。
NIM 目前支持来自 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及来自 Google、Hugging Face、Meta、Microsoft、Mistral AI 和 Stability AI 的开源模型。英伟达已与 Amazon、Google 和 Microsoft 合作，分别在 SageMaker、Kubernetes Engine 和 Azure AI 上提供这些 NIM 微服务，并将集成到 Deepset、LangChain 和 LlamaIndex 等框架中。
英伟达企业计算负责人 Manuvir Das 表示：“我们相信 Nvidia GPU 是运行这些模型推理的最佳平台，NVIDIA NIM 则是最佳的软件包和运行时。开发者可在此基础上构建企业应用程序，由 Nvidia 以最高效、企业级的方式生成模型，从而专注于其他核心工作。”
在推理引擎方面，英伟达将使用 Triton Inference Server、TensorRT 和 TensorRT-LLM。通过 NIM 提供的部分微服务包括：用于定制语音和翻译模型的 Riva、用于路由优化的 cuOpt，以及用于天气和气候模拟的 Earth-2 模型。
该公司计划随时间推移增加更多功能，例如将 Nvidia RAG LLM operator 作为 NIM 提供，使构建能从自定义数据中提取信息的生成式 AI 聊天机器人变得更加容易。
NIM 的当前用户包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp。
NVIDIA 创始人兼 CEO 黄仁勋表示：“成熟的企业平台拥有海量数据，这些数据可以转化为生成式 AI 助手。由合作伙伴生态系统打造的容器化 AI 微服务，是各行各业企业转型为 AI 公司的基石。”