大数跨境

Etched正在研发一款仅运行单一类型模型的AI芯片

Etched正在研发一款仅运行单一类型模型的AI芯片 海外洞察
2024-06-25
1
导读:由哈佛辍学生创办的Etched公司正在研发一款AI芯片,该芯片仅能运行一种类型的模型:基于Transformer的模型。

随着生成式人工智能触及越来越多的行业,生产用于运行这些模型的芯片的公司正获得巨大利益。尤其是英伟达(Nvidia),它拥有巨大的影响力,占据着估计70%至95%的AI芯片市场份额。从Meta到微软等云服务提供商都在英伟达GPU上投入数十亿美元,担心在生成式人工智能竞赛中落后。

因此,生成式AI供应商对现状感到不满是可以理解的。它们的大部分成功取决于主导芯片制造商的意愿。因此,它们与投机性的风险投资家一起,正在寻找有前途的新兴企业来挑战AI芯片行业的既得利益者。

Etched:专注Transformer架构的专用芯片

Etched是众多争夺一席之地的替代芯片公司之一——但它也是最引人注目的公司之一。成立仅两年,Etched由两位哈佛辍学生Gavin Uberti(前OctoML和前Xnor.ai员工)和Chris Zhu创立,他们与Robert Wachen以及前Cypress Semiconductor首席技术官Mark Ross一起,试图创造一种只能做一件事的芯片:运行AI模型。

这并不罕见。许多初创公司和科技巨头都在开发专门运行AI模型的芯片,也称为推理芯片。Meta已经推出MTIA,亚马逊拥有Graviton和Inferentia等。但Etched的芯片独特之处在于,它们只运行一种类型的模型:Transformer。

Transformer由谷歌研究团队于2017年提出,迄今为止已成为主导性的生成式AI模型架构。它是OpenAI视频生成模型Sora的基础,也是Anthropic的Claude和Google的Gemini等文本生成模型的核心。此外,它们还驱动着艺术生成器,例如最新版本的Stable Diffusion。

“在2022年,我们押注Transformer将主宰世界。”Etched的首席执行官Uberti在接受TechCrunch采访时说,“我们已经达到了AI进化的一个关键点,能够比通用GPU表现更好的专用芯片是不可避免的——全球的技术决策者都知道这一点。”

Sohu芯片:性能与能效的双重突破

Etched的芯片名为Sohu,是一种ASIC(专用集成电路)——一种为特定应用定制的芯片——专为运行Transformer而设计。采用TSMC的4nm工艺,Sohu可以提供比GPU和其他通用AI芯片显著更好的推理性能,同时能耗更低,Uberti声称。

“Sohu在运行文本、图像和视频Transformer时,速度比Nvidia下一代Blackwell GB200 GPU快一个数量级,且成本更低,”Uberti说,“一台Sohu服务器可替代160块H100 GPU。对于需要专用芯片的企业领导者来说,Sohu将是更经济、更高效且对环境更友好的选择。”

Sohu是如何实现这一切的?有几种方式,但最明显(也最直观)的是简化的推理硬件和软件流水线。由于Sohu不运行非Transformer模型,Etched团队可以去除与Transformer无关的硬件组件,并减少传统上用于部署和运行非Transformer模型的软件开销。

来自Etched的一张图表,比较了运行Meta开源模型Llama 70B时的硬件性能。图片来源:Etched

应对AI基础设施的能耗挑战

Etched在生成式AI基础设施竞赛的关键转折点登场。除了成本问题外,如今大规模运行模型所需的GPU和其他硬件组件功耗过高,令人担忧。

高盛预测到2030年,AI将推动数据中心电力需求增长160%,导致温室气体排放量显著增加。与此同时,加州大学河滨分校的研究人员估计,到2027年,全球AI使用可能导致数据中心消耗1.1万亿至1.7万亿加仑的淡水,影响当地资源(许多数据中心使用水来冷却服务器)。

Uberti乐观地——或者根据你如何解读,可以说是夸张地——将Sohu定位为解决行业能耗问题的方案。“简而言之,我们未来的客户将无法负担不转向Sohu的后果,”Uberti说,“公司愿意在Etched上下注,因为速度和成本对于他们试图构建的AI产品来说是生死攸关的。”

竞争格局与技术路线风险

但是,假设Etched能在未来几个月内实现将Sohu推向大众市场的目标,当如此多的竞争对手紧随其后时,它还能成功吗?目前该公司没有直接的竞争对手,但AI芯片初创公司Perceive最近展示了一款处理器,该处理器具备针对Transformer的硬件加速功能。Groq也为其ASIC投入了大量资源进行针对Transformer的特定优化。

撇开竞争不谈,如果有一天Transformer不再受欢迎怎么办?Uberti表示,在这种情况下,Etched会做显而易见的事:设计一款新芯片。这听起来合理,但考虑到将Sohu推向市场花了这么长时间,这确实是一个相当极端的备选方案。

融资进展与市场展望

不过,这些担忧并没有阻止投资者向Etched投入巨额资金。今天,Etched宣布已完成由Primary Venture Partners和Positive Sum Ventures联合领投的1.2亿美元A轮融资,使Etched累计融资金额达到1.2536亿美元;该轮投资还吸引了包括Peter Thiel(Uberti、Zhu和Wachen均为Thiel Fellowship校友)、GitHub CEO Thomas Dohmke、Cruise以及Bot Company联合创始人Kyle Vogt,以及Quora联合创始人Charlie Cheever等重量级天使投资人参与。

这些投资者大概相信Etched有合理的成功机会来扩大其销售服务器的业务。也许确实如此——Uberti声称,目前已有未具名的客户预留了“数千万美元”的硬件。他建议,即将推出的Sohu Developer Cloud将通过在线互动游乐场让客户预览Sohu,这将推动额外的销售。

然而,目前判断这是否足以推动Etched及其35人的团队实现其联合创始人所设想的未来还为时过早——在最佳时期,AI芯片领域也充满严苛挑战,例如AI芯片初创公司Mythic和Graphcore备受瞩目却几近失败的经历,以及2023年对AI芯片风投的投入减少。

不过,Uberti提出了强有力的销售主张:“视频生成、音频到音频模态、机器人技术以及其他未来的AI应用场景,只有借助像Sohu这样更快的芯片才能实现。AI技术的整个未来将取决于基础设施是否能够扩展。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k