以人工智能为核心的云平台Together AI近期获得8亿美元投资，估值升至83亿美元。此前，IBM与Together AI签署了一项价值2.4亿美元的多年期协议，旨在扩展开源AI模型的推理流程。在该协议框架下，IBM将在IBM Cloud上构建由Nvidia HGX B300系统组成的大规模基础设施。
Together AI将利用该集群为开源模型提供推理服务，预计设施将于2027年第一季度投入使用。这也将成为首个在IBM Cloud上使用Nvidia HGX B300和Spectrum-X以太网技术、直接为推理工作负载构建的大规模专用集群。
采用Nvidia Blackwell Ultra系统
新基础设施的核心是Nvidia HGX B300系统，每个系统配备八个Blackwell Ultra加速器，并搭配Nvidia Spectrum-X以太网网络技术。据Nvidia称，与上一代系统相比，新基础设施可提供高达30倍的“AI工厂”产出。
HGX B300系统使用ConnectX-8 SuperNIC组件管理加速器间的数据流量，BlueField-3数据处理单元则负责协调系统与外部基础设施之间的数据流。
Together AI的平台不仅支持AI模型的推理、训练和微调，还支持针对AI代理的工作流。该公司表示，其推理服务每月处理约400万亿个token。新增容量旨在为企业客户在生产环境中运行开源模型时，提供更高性能并降低token成本。
该协议在助力Together AI拓展企业市场的同时，也巩固了IBM在快速扩张的AI基础设施市场中的地位。对IBM而言，此次合作延续了其与Nvidia在GPU驱动的数据分析、混合云基础设施及企业级AI解决方案领域的持续合作。
Together AI首席执行官Vipul Ved Prakash指出，企业希望在不承担专有模型特有成本的前提下，利用先进模型的性能。他认为，实现这一目标的关键在于构建能够快速且可靠扩展的基础设施。