大数跨境
首页
>
ChatGPT横空出世，AI“翻译官”要突破英伟达CUDA生态，让AI芯片更聪明
>

ChatGPT横空出世，AI“翻译官”要突破英伟达CUDA生态，让AI芯片更聪明

ChatGPT横空出世，AI“翻译官”要突破英伟达CUDA生态，让AI芯片更聪明 问芯
2023-04-11
1
导读：ChatGPT全球爆红，再掀新一波AI革命。无论产业终极赢家是微软、Google、Amazon或是其他新创公
ChatGPT全球爆红，再掀新一波AI革命。无论产业终极赢家是微软、Google、Amazon或是其他新创公司，可以预见的是眼前赢家绝对是英伟达。为什么多数的AI公司和ChatGPT都离不开英伟达的GPU做AI训练？
英伟达创办人黄仁勋曾说过，Nvidia本质是一家软件公司。这句话透露了英伟达在AI领域打遍天下无敌手的秘诀是强大的AI编译器CUDA生态系统。
试想，很多AI新创公司可能会花数十亿元的资源去打造一颗7nm或5nm工艺的AI芯片，做出比英伟达性能更强大、功耗更低的产品，但最后却因为找不到可以适配的商用化软件，AI应用程式上不了芯片，导致芯片根本卖不出去。
由此可知，很多AI新创公司面临的真正挑战除了硬件本身，还有软件环境。 CUDA生态系统就是英伟达花了15年时间，投入超过100亿美元所筑起的摩天高墙，难以被竞争对手超越。
AI领域还有另一个不被理解的寂寞。相较于摩尔定律每18个月晶体管增加一倍，AI对硬件算力的需求却是每100天就会成长一倍。英伟达曾在2020年提出GPU将推动AI性能实现逐年翻倍的理论，称为黄氏定律（Huang’s Law）。
这样的说法是一点也不夸张。 ChatGPT才推出100天时，Amazon就宣布开发出的新AI模型准确度已经大幅高过ChatGPT，且模型尺寸只有ChatGPT的十分之一。
每百日，AI世界就出现新的样貌，但开发一颗芯片从初期设计到生产最少也要18个月，等同在AI世界过了五个世代，这就是AI世界疯狂的地方。
早期计算机的发展从单核到多核，进入海量运算时代后，连多核都无法解决AI的难题，因此需要更多的GPU和加速器。硬件端一眼望穿的瓶颈，导致了整个AI世界由生态和应用在驱动，当ChatGPT横空出世，一下子就把硬件运算资源给吃光。因此，我们需要更厉害的硬件来突破AI的瓶颈。
其实AI芯片很多瓶颈都不在硬件本身上，AI芯片耗费很多性能在编译与传输，并非真的在做计算，这也导致产品落地时间拉长。这让AI编译器的角色变得很关键，从英伟达的CUDA即可看出AI编译器软件所筑起的高墙之重要性。
《问芯Voice》专访AI编译器Skymizer董事长赖俊豪、CEO唐文力，谈谈AI编译器产业，以及ChatGPT出现后，对AI编译器带来哪些需求。 AI编译器如何扮演称职的“翻译官”角色，帮助AI芯片公司加速产品落地。再者，赖俊豪过去曾担任台积电旗下IC设计服务公司创意的CEO，他眼中的AI芯片如何加速前进促进产业发展。
简述何谓编译器？工程师写程式语言，CPU写机器语言，这中间需要翻译官来把程式语言翻译成为机器语言，AI编译器就是这个翻译官。
AI编译器这类软件技术的门槛在人，因为懂compiler(编译)这门科学的人才极微稀缺，这类程式语言算是很基础，但十分古老的学问，已经很少人会去专门学习这一门技术。
过去学compiler的人主要是处理CPU指令集，以及CPU如何与周边元件协同。随着CPU由x86、Arm、MIPS三大阵营确立，哪一种程式的编译器需要对应哪一类CPU也都固定，自然对编译器人才的需求减少，compiler渐渐变成很冷门的专业。
随着AI时代开始，AI模型一直在演变，每一家IC设计公司推出的硬件都不同，对编译器的需求自然大幅提升。 AI模型是各种不同指令组合的程式，再翻译成ASIC读懂0101架构，中间就需要AI编译器协助，来翻译不同的AI模组到不同的ASIC硬件上。
对比PC和AI运作，以前PC作业系统可以看成是现在的AI编译器，CPU变成NPU，Program角色被AI模型取代，AI世界里这三者之间的互动成为全新的科学知识。
英伟达GPU在跑AI的时候，就像跑传统PC，GPU也是0101架构，而CUDA最厉害的地方是第一个把这类AI模型顺畅且完美的翻译，英伟达更将相关软件都私有化。
可以参考以前比特币挖矿机刚出来的时候，初期也是用CPU，再来用英伟达的GPU，最后演变成用客制化的ASIC来挖矿。未来AI硬件也会循同样逻辑，会有很多泛用GPU需求，但也会有很多专用需求像是根据数据中心、行动装置、边缘计算等不同需求都会转用ASIC。
与GPU生态相较，AI可以发展的更健康，因为GPU必须完全相容于CUDA生态，但AI不用，在机器学习框架领域非常竞争，且生态系统分散，有比CUDA更高层级的Google的TensorFlow和Meta的PyTorch，前几年TensorFlow处于领先地位，现在PyTorch的声势非常强。另外也还有Meta 、微软结盟推出的ONNX（Open Neural Network Exchange），有助于不同框架工具彼此整合编译执行，Skymizer在此耕耘多年，并基于此建立了ONNC编译器(Open Nerual Network Compiler)，将所有的 AI 晶片与 ONNX 连结起来。
会有这样的发展是由于虽然英伟达在硬件领域有强势地位，但Google并不乐见英伟达CUDA把持一切，因此也做了自己的训练和框架工具，甚至是做了自己的硬件TPU，长出属于Google自己的生态系统，让机器学习模型的预设软件堆叠不再封闭于 CUDA生态，确实获得了成功。
这让AI生态有一个好处，并非一定要跟着英伟达。 Skymizer也是一边盯着CUDA和Google，同时也和微软、Meta、Amazon几家非Google的联盟做其他软件生态 。例如Skymizer另一个主力技术MLIR的多层次编译架构，目前主要的框架语意如PyTorch、TensorFlow、ONNX以及TVM，在ONNC都可完善支援。
在AI的世界没有永远的王者，ChatGPT横空出世说明了一切。搞不好英伟达会开始紧张，因为看到有些人会用非CUDA的加速器，导致CUDA一部分的市场因为ChatGPT的崛起而跑到别的工具上，而这也是Skymizer的机会。
随着ChatGPT出现，新杀手级应用需要新的AI领域微软作业系统的角色出现，Skymizer就是市场上极为少数可以提供AI系统软件的企业，其提供的软件服务，不仅可以协助芯片客户快速落地，更可以做到自动化、软硬件优化，更好地提升芯片性能。
Skymizer给自己的定位与英伟达不同，像是当年的台积电与英特尔，前者是专攻特定领域，后者是垂直整合的商业模式，Skymizer会专注把软件做好，英伟达则是从软吃到硬。
谈到竞争对手，Skymizer表示，市面上提供类似技术服务的公司甚为稀少。稀少的原因在于大公司会内建团队，而新创公司却因人才有限而必须寻求委外合作，这给Skymizer带来机会。事实上，Skymizer是其中协助客户商务落地最为成功的公司，目前客户已涵盖从云到端的一线芯片公司，手机、监控、指纹、数据中心、电商推荐系统、物联网等，各类大小型应用，都已成功落地导入产品化。
AI芯片其实是一种软件定义的芯片，芯片中所有的硬件应该是软件定义，但这个概念和做法并不普及。整个IC产业仍是遵循古法，先订完硬件的规格后，再根据规格把芯片刻出来。但问题是，AI产业每100天就变一个样貌，传统的做法会跟不上AI发展的脚步。
因此，AI芯片产业非常需要一个非常棒的“翻译官”，同时懂AI，又很了解芯片，清楚地告诉硬件未来AI会出现什么样的变化，可以提早做准备，逐渐实践软件定义芯片的真正意涵，Skymizer就是这个“翻译官”最好的代表企业。

【声明】内容源于网络
0
0
问芯
AI、机器人和未来。
内容 628
粉丝 0
问芯 AI、机器人和未来。
总阅读45
粉丝0
内容628