Nvidia 的 GH200 具有与 Nvidia 当前最高端 AI 芯片 H100 相同的 GPU,但配备 141 GB 的尖端内存以及 72 核 ARM 中央处理器。
Nvidia 首席执行官黄仁勋 (Jensen Huang) 周二表示:“这款处理器专为全球数据中心的横向扩展而设计。”
英伟达
周二,该公司宣布推出一款旨在运行人工智能模型的新芯片,旨在抵御人工智能硬件领域的竞争对手,包括 AMD、谷歌和亚马逊。
目前,英伟达在人工智能芯片市场占据主导地位,据估计,其市场份额超过 80% 。该公司的专长是图形处理单元(GPU),它已成为支持生成式人工智能软件的大型人工智能模型的首选芯片,例如谷歌的 Bard 和 OpenAI 的 ChatGPT。但随着科技巨头、云提供商和初创公司争夺 GPU 能力来开发自己的人工智能模型,英伟达的芯片供不应求。
Nvidia 的新芯片 GH200 与该公司目前最高端的 AI 芯片 H100 具有相同的 GPU。但 GH200 将该 GPU 与 141 GB 的尖端内存以及 72 核 ARM 中央处理器配对。
Nvidia 首席执行官黄仁勋 (Jensen Huang) 在周二的一次会议上发表讲话时表示:“我们正在增强这款处理器的性能。” 他补充道,“该处理器是为全球数据中心的横向扩展而设计的。”
黄仁勋表示,新芯片将于明年第二季度从 Nvidia 经销商处供货,并应在今年年底前提供样品。英伟达代表拒绝透露价格。
通常,使用人工智能模型的过程至少分为两个部分:训练和推理。
首先,使用大量数据训练模型,这个过程可能需要数月时间,有时需要数千个 GPU,例如 Nvidia 的 H100 和 A100 芯片。然后,该模型在软件中使用称为推理的过程来进行预测或生成内容。与训练一样,推理的计算成本很高,并且每次软件运行时都需要大量处理能力,例如生成文本或图像时。但与训练不同的是,推理几乎持续进行,而仅当模型需要更新时才需要训练。
“你几乎可以采用任何你想要的大型语言模型并将其放入其中,它会疯狂地进行推理,”黄说。“大型语言模型的推理成本将大幅下降。”
Nvidia 副总裁 Ian Buck 在周二与分析师和记者的电话会议上表示,Nvidia 的新型 GH200 专为推理而设计,因为它具有更大的内存容量,允许更大的 AI 模型安装在单个系统上。Nvidia 的 H100 拥有 80GB 内存,而新款 GH200 则为 141GB。Nvidia 还发布了一个系统,将两个 GH200 芯片组合成一台计算机,适用于更大的模型。
Buck 说:“拥有更大的内存可以让模型驻留在单个 GPU 上,而不必需要多个系统或多个 GPU 才能运行。”
这一消息发布之际,Nvidia 的主要 GPU 竞争对手 AMD 最近发布了自己的面向 AI 的芯片MI300X,该芯片可支持 192GB 内存,并以其 AI 推理能力进行营销。包括谷歌和亚马逊在内的公司也在设计自己的定制人工智能推理芯片。
原文链接:https://www.cnbc.com/2023/08/08/nvidia-reveals-new-ai-chip-says-cost-of-running-large-language-models-will-drop-significantly-.html