Run.ai 拓展推理工作负载支持，集成 Nvidia Triton Inference Server
获得大量融资的 AI 工作负载编排服务商 Run.ai，过去几年凭借帮助用户在本地和云端充分利用 GPU 资源训练模型而声名鹊起。但众所周知，训练模型是一回事，将其投入生产则是另一回事——许多项目正是在此阶段失败。因此，这家定位为端到端平台的公司正超越训练阶段，转而支持客户在私有云、公有云或边缘环境中高效运行推理工作负载。借此，其平台新增了与 Nvidia Triton Inference Server 的集成，这得益于两家公司的紧密合作。
Run.ai 联合创始人兼首席执行官 Omri Geller 表示：“过去六到十二个月，我们发现组织正从构建训练机器学习模型转向将模型实际投入生产。我们在内部投入大量资源攻克这一挑战，相信已解决训练部分的资源管理问题，现在专注于帮助企业管理用于推理的计算资源。”
简化部署流程，实现自动扩缩容
Run.ai 致力于让企业部署模型尽可能简单，承诺提供无需编写 YAML 文件的两步部署流程。得益于早期对容器和 Kubernetes 的布局，该平台能将推理工作负载迁移至最高效硬件。随着新集成进入 Run.ai Atlas 平台，用户可在 Triton Inference Server 上部署多个模型或同一模型的实例，并基于每个模型进行自动扩缩容和优先级排序。此外，Run.ai 也是 Nvidia LaunchPad 计划的一部分。
GPU 成为复杂模型推理刚需
Nvidia 企业计算副总裁 Manuvir Das 指出，虽然推理所需算力不及训练，但模型日益庞大，仅靠 CPU 部署已不现实。“我们构建了 Triton Inference Server，使其既能在 CPU 也能在 GPU 上进行推理。以前有了模型便可部署在 CPU 上，但随着模型变得庞大复杂，实际上需要在 GPU 上运行。”Geller 补充道，模型复杂度与准确性直接相关，也决定了企业能用模型解决的问题范围。
尽管 Run.ai 早期聚焦训练，但其为训练构建的技术同样适用于推理。例如，资源共享系统可应对某些模型实时运行需更多资源的场景。
针对为何 Nvidia 不自建此类功能，Das 解释称，大规模数据科学工作需要优秀的端到端 MLOps 平台，这正是 Run.ai 的优势所在。“Nvidia 在底层提供低级构建模块以充分利用 GPU 性能；整合得当便能兼得两者优势。这也是双方合作良好的原因，因为从一开始就明确了职责分工。”
平台新增多项推理优化更新
除与 Nvidia 合作外，Run.ai 今日还宣布多项平台更新：新增专注推理的指标和仪表板；支持在分片 GPU 上部署模型，并根据延迟 SLA 自动扩展；以及可将部署规模扩展至零，从而有效降低成本。