大数跨境

黄仁勋口中“买越多、省越多”的GPU,如何成就芯片和服务器两大供应链?

黄仁勋口中“买越多、省越多”的GPU,如何成就芯片和服务器两大供应链? 问芯
2023-06-01
0
导读:英伟达黄仁勋在COMPUTEX引爆的AI炫风,以一人救全队之姿,让全球科技产暂时从PC和手机需求疲弱的低谷中

英伟达黄仁勋在COMPUTEX引爆的AI炫风,以一人救全队之姿,让全球科技产暂时从PC和手机需求疲弱的低谷中抽离,进入他为AI产业擘划的美丽新世界。

科技盛宴只有短短数日,AI美梦苏醒后还是要回到现实面对经济不振、需求低迷的大环境,要让美梦连接到现实生活中,来看英伟达供应链如何受惠生成式AI带来的机会。

英伟达生成式AI供应链的直接受惠者从两大块来看:最上游的晶圆代工和服务器代工业者。

在晶圆代工方面,目前A100/H100 GPU全数由台积电独家代工,A100 GPU是采用7nm制程,H100 GPUT是采用4nm制程技术。

过去英伟达的显示卡可卖芯片也可以卖卡。不过,这两年推出的A100H100是以卡片的形式供货给客户,没有单卖芯片,主要是以A100/H100加速卡的形式供货。

这次黄仁勋公开指出,除了台积电和三星电子外,不排除找英特尔代工。他并指出近期收到英特尔次代制程测试芯片的报告,结果看来不错。他强调,供应链的韧性极为重要,英伟达会尽量分散制造地点。

英伟达一向擅长采用分散供应商策略,之前和三星的晶圆代工业务也合作过。不过,三星代工的Nvidia RTX 3000 系列GPU显卡时,因为良率不佳导低市场缺货,之后便由台积电全数代工所有GPU

关于黄仁勋擅长管理供应链,一位资深媒体人向《问芯Voice》讲述了一段2000年左右的乌龙邮件事件。

当年,英伟达承接微软X-Box芯片订单,由台积电独家代工,随着微软的生意越来越好,开始建议英伟达要找第二供应商以确保在交货高峰期之际,芯片供应也能稳定。

当时联电争取英伟达的代工订单非常积极,也给出甜甜价。当时联电副董事长宣明智在董事长、总经理任内,只要有到矽谷出差,在行程得空下都会找黄仁勋吃饭或是致赠小礼物,这些用心都看在黄仁勋的眼里。

英伟达与联电的试产合作也认真起来,联电内部调派不少资源做英伟达产品的试产,而英伟达内部还有一位专责的华裔业务主管负责与联电沟通,双方频频以e-mail沟通各项细节。

某天,这位华裔主管在寄出e-mail给联电时,不小心将台积电部份客户工程师的e-mail也列入群组寄信名单上,台积电工程师在收到这一封来自英伟达的误寄乌龙e-mail后,发现tsmcumc同时名列收件地址,将业务系统往上呈报。

结局是,一周之内台积电创办人张忠谋趁赴美视察业务时,出现在英伟达公司的大厅,台积电提出不错的条件后,英伟达与联电的试产合作就此破局。

究竟英伟达的那一封e-mail是误寄?还是技术性犯规?看完故事的每个人心中自有答案,确定的是英伟达是最后的大赢家,获得的代工产能保障、服务、价格应该都很满意。

这次黄仁勋公开表示除了台积电和三星,不排除交由英特尔代工产品。业界也认为,这应该又是黄仁勋的议价手法之一。

这几年下来,黄仁勋在供应链管理上,与苹果库克的风格是越来越像。他不只一次表示,ChatGPT的问世是AIiPhone时刻,两家企业的供应链管理风格也是在一条道路上。

英伟达AI世界里,服务器厂商是供应链的另一个直接受惠者。

AI服务器与传统的通用服务器的差异在于,传统通用服务器以CPU为主,AI服务器以GPU为主要架构,通过异质运算架构提高运算性能,可分成训练和推论两种。目前市面的AI服务器上,一张主板需要18GPU12CPU,以及1Arm架构的Grace CPUAI服务器如英伟达最新型的H100服务器,一台要20万美元。

2023 年全球服务器出货量为 1,400 万台,较 2022 年成长。研调机构 TrendForce 指出,2023AI服务器(包含搭载GPUFPGAASIC)出货量近120万台,意即现在AI服务器占整体服务器的出货量逼近10%,受惠生成式AI大浪,预计到了2026 年,AI服务器占整体服务器比重将攀升至 15%20222026 AI 服务器出货量年复合成长率至 22%

英伟达的GPUAI服务器领域中,市占率也逼近70%,其他还有云端业者自主研发的 AISC 芯片占比也逾 20%,最知名的像是Google自行开发TPU芯片,未来云端大厂自行ASIC的风气会越来越盛行。

AI服务器中,为什么使用GPU能大胜CPU

黄仁勋在这次的Computex上一直布道一个观念:“The More You Buy, The More You Save.(买愈多、省更多)。

他这样阐述AI服务器的价格优势:数据中心的成本结构简单而言可分为硬件建置、网络建置、软件部署、资源使用率、采购营运、生命周期、电力消耗等因素,此外还要考虑数据中心用地成本。

黄仁勋持续分析,如果单看以英伟达GPU为主的AI服务器,会觉得单价很贵,但实际上不是这样的。

举例而言,若建置数据中心的预算为 1000 万美元,可以选择建置 1 座搭载 960 CPU、功耗达 11GW 的数据中心,也可以选择建置 1 座有 48 GPU、功耗仅需 3.2GW 的数据中心,且大型语言模型 (LLM) 数据处理量是 CPU 44 倍。

用另一种解释,处理同样数据量的LLM,可以选择斥资 1000 万美元,建置 1 座搭载 960 CPU、功耗达 11GW 的数据中心,抑或是选择只花费 40 万美元,建置 1 台需要 2 GPU、功耗仅需 0.13GW 的数据中心。

【声明】内容源于网络
0
0
问芯
AI、机器人和未来。
内容 628
粉丝 0
问芯 AI、机器人和未来。
总阅读8
粉丝0
内容628