生成式AI的兴起让全球疯抢GPU，加上美国出口管制限制高算力的H100/A100 GPU销往中国，加速GPU囤货潮，这些因素都让英伟达最新的H100 GPU严重短缺，最后导致服务器供应链业者满手订单，但却没有GPU可以让系统组装出货。
微软日前示警，如果数据中心无法取得足够的GPU芯片，将可能使得云服务中断。尤其自从OpenAI的聊天机器人ChatGPT引爆全球对于生成式AI的狂热，英伟达的A100和H100 GPU在训练和推理大数据模型中成为关键角色。
根据调研机构分析，如果要从头训练大数据模型至少需要上千张A100或H100，而推理和微调大数据模型至少需要储存100张。估计GPT4在1万～2.5万块A100上训练、Google云大概有2.5万块H100、脸书Meta有2.1万块A100、特斯拉有7000块，微软Azure 有1万～4万块。这当中还不包含腾讯、阿里巴巴、字节跳动、百度等因为美国出口管制限制要采购的A100和H100的替代产品A800与H800。
面对这么庞大的AI市场，英伟达的H100/A100是当前训练大模型的最佳的GPU，没有之一。如此寡占优势，难怪英伟达每季能交出让市场为之疯狂的财报成果。目前，最可能的挑战者是AMD，但AMD推出的MI 300仍是静悄悄，并没有太大的突破表现。
英伟达GPU的生产瓶颈在台积电的CoWoS后端封装技术，其次还有高带宽内存HBM的供给受限。<英伟达的AI帝国如何破解台积电CoWoS封装产能不足的裂痕？>
因此，英伟达在上月宣布新款GPU产品L40S问世，这是L40的升级版，L40S从原先单纯图像处理型AI芯片切入生成式AI领域。更具体的说，L40S不但是一款专业图像处理 GPU，同时也支援新一代数据中心工作负载，可执行生成式AI和大型语言模型 LLM推理与训练。
更关键是，L40S没有整合HBM内存，也不需要CoWoS封装技术，且价格相较A100、H100更低，业界认为新款的L40S 是英伟达用来纾解当下GPU缺货潮的秘密武器。
L40S与最高性能的H100如何区分？ L40S有多大程度纾解供应链紧张的问题？
黄仁勋在财报会议上指出，L40系列GPU包括最新推出的L40S是针对不同应用而设计的产品，H100主要是针对大规模语言模型LLM设计，在LLM领域， L40S是无法取代H100 GPU。但L40S有一个很大的重点，是能微调预先训练好的模型，且它采用标准机架、标准服务器，一切都是标准的所以很容易安装。更重要的是， L40S不受合作供应限制（不用CoWoS封装），正在向全球服务企业发货。
业界认为，L40S GPU主要目标客户是中小型企业的算法训练，而大型云端服务商CSP为了要强化算力储备，仍会以H100和A100 GPU为主。因此，L40S GPU的推出不会减少既有客户对既有H100和A100 GPU的需求，但L40S GPU却可以为英伟达补足中小型企业客户对于AI的渴望。
中小型企业客户不需要这么高的算力，真正需要的是高性价比的解决方案，就算H100供货顺畅，对这些客户而言如此高算力算是杀鸡用牛刀，更何况现在H100缺货成这样。因此，英伟达针对此领域客户给出L40S GPU解决方案，再度显示老黄刀法之俐落与精准。
