H200 包括 141GB 的下一代“HBM3”内存,这将有助于它使用人工智能模型生成文本、图像或预测。
人们对 Nvidia 人工智能 GPU 的兴趣极大地推动了该公司的发展,预计本季度销售额将飙升 170%。
英伟达
周一推出了 H200,这是一款图形处理单元,旨在训练和部署各种人工智能模型,为生成式人工智能热潮提供动力。
新的 GPU 是 H100 的升级版,H100 是 OpenAI 用于训练其最先进的大型语言模型 GPT-4 的芯片。大公司、初创公司和政府机构都在争夺有限的芯片供应。
根据 Raymond James 的估计,H100 芯片的成本在 25,000 美元到 40,000 美元之间,需要数千个芯片一起工作才能在称为“训练”的过程中创建最大的模型。
对 Nvidia 人工智能 GPU 的兴奋推动了该公司股价的上涨,截至 2023 年,该公司股价已上涨超过 230%。 Nvidia预计第三财季收入约为 160 亿美元,比去年同期增长 170%。
H200 的关键改进在于它包含 141GB 的下一代“HBM3”内存,这将帮助芯片执行“推理”,或者在经过训练后使用大型模型来生成文本、图像或预测。
Nvidia 表示,H200 的输出速度几乎是 H100 的两倍。这是基于使用Meta进行的测试
骆驼 2 法学硕士。
H200预计将于2024年第二季度出货,将与AMD的MI300X GPU竞争。AMD 的
该芯片与 H200 类似,比其前代芯片具有额外的内存,这有助于在硬件上安装大型模型来运行推理。
Nvidia 表示,H200 将与 H100 兼容,这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。
Nvidia 表示,它将在该公司的 HGX 完整系统上提供四 GPU 或八 GPU 服务器配置,以及名为 GH200 的芯片,该芯片将 H200 GPU 与基于 Arm 的处理器配对。
然而,H200 可能不会长期保持最快 Nvidia AI 芯片的桂冠。
虽然像英伟达这样的公司提供了许多不同的芯片配置,但当制造商转向不同的架构时,新的半导体通常会每两年向前迈出一大步,这种架构比添加内存或其他较小的优化能带来更显着的性能提升。H100 和 H200 均基于 Nvidia 的 Hopper 架构。
10 月份,Nvidia 告诉投资者,由于对其 GPU 的需求旺盛,该公司将从两年架构节奏转向一年发布模式。该公司展示了一张幻灯片,暗示其将于 2024 年宣布并发布基于即将推出的 Blackwell 架构的 B100 芯片。
原文链接:https://www.cnbc.com/2023/11/13/nvidia-unveils-h200-its-newest-high-end-chip-for-training-ai-models.html