大约两年前，微软宣布与AI实验室OpenAI建立合作伙伴关系，构建运行于Azure云上的“AI超级计算机”。该系统包含超过28.5万个处理器核心和1万块显卡，曾是世界上最大的超级计算机集群之一。
为支持更具雄心的AI工作负载，微软表示已与英伟达签署“多年期”协议，将在Azure上构建一台由英伟达GPU、网络技术及训练软件驱动的新超级计算机。
微软云和人工智能集团执行副总裁Scott Guthrie表示：“人工智能正推动新一轮自动化浪潮。我们与英伟达的合作将解锁全球最具可扩展性的超级计算机平台，为Azure企业提供最先进的AI能力。”
硬件升级：H100 GPU与Quantum-2网络技术
即将推出的超级计算机将配备英伟达Quantum-2 400Gb/s InfiniBand网络技术及H100 GPU等硬件。目前Azure实例使用的是上一代A100 GPU与200Gb/s InfiniBand网络组合。
英伟达Hopper架构旗舰产品H100配备了加速机器学习任务的“Transformer Engine”。据英伟达称，其性能比A100高出1.5至6倍；在同等性能下，能效提升多达3.5倍且功耗更低。
值得注意的是，首批搭载H100的工业级机器Henri系统虽位居高效超算榜首，但在Top500排行榜中仅列第405名，表明H100并非终极解决方案。
深度合作：生成式AI研究与DeepSpeed优化
作为合作的一部分，英伟达将使用Azure虚拟机研究生成式AI进展（如文本、图像生成算法）。微软则将针对新硬件优化DeepSpeed库，减少AI训练时的算力与内存消耗，并联合开放面向企业客户的AI工作流及SDK组合。
英伟达选择Azure而非自有超算Selene，预计是因为其开发的AI系统规模将超越Selene甚至概念验证机Eos（配备4,608块H100 GPU，算力达18.4 exaflops）的能力。
英伟达企业计算副总裁Manuvir Das表示：“基础模型的突破引发了研究热潮。双方合作将为研究人员和企业提供最先进的AI基础设施，充分利用AI的变革性力量。”
行业趋势：AI算力军备竞赛持续加剧
对强大AI训练设施的需求引发了云厂商与硬件供应商的军备竞赛。Cerebras推出了拥有1350万核心的Andromeda AI超算；Google和Amazon则继续投资TPUs和Trainium等定制芯片。
对更强大硬件的追求将持续下去。研究显示，2016年至2022年间大规模AI模型算力需求平均每10.7个月翻一番。此前OpenAI曾估计，单块Nvidia Tesla V100 GPU训练GPT-3需耗时约355年。