大数跨境

CentML 获得英伟达等机构2700万美元投资,旨在提升人工智能模型的运行效率

CentML 获得英伟达等机构2700万美元投资,旨在提升人工智能模型的运行效率 海外洞察
2023-10-25
0
导读:CentML是一家致力于开发工具,使人工智能模型能在现有硬件上更高效运行的初创公司,近日在风险投资融资中筹集了2700万美元。

与你可能听到的相反,大规模种子轮融资的时代并未结束——至少在人工智能领域如此。

致力于开发降低部署机器学习模型成本并提升其性能工具的初创公司CentML今早宣布,在Gradient Ventures、TR Ventures、英伟达以及微软Azure AI副总裁Misha Bilenko的参与下,该公司完成了一轮扩展种子轮融资,金额为2700万美元。

CentML最初于2022年完成了种子轮融资,但随着对其产品兴趣的增长,该公司在过去几个月延长了融资期,使其总融资金额达到3050万美元。

应对AI芯片短缺:CentML获3050万美元融资

据CentML联合创始人兼首席执行官Gennady Pekhimenko介绍,这笔新资金将用于加强产品开发和研究工作,同时扩大其在美国和加拿大分布的、由30人组成的工程团队及更广泛的员工队伍。

Pekhimenko是多伦多大学的副教授,他于去年与Akbar Nurlybayev以及博士生Shang Wang和Anand Jayarajan共同创立了CentML。Pekhimenko表示,他们有着共同的愿景,即创造能够增加计算资源可访问性的技术,以应对日益严峻的AI芯片供应问题。

“机器学习成本高昂、人才短缺以及芯片不足……任何AI和机器学习公司都会面临至少其中一项挑战,而大多数公司会同时面临几项。”由于企业和初创公司的巨大需求,最高端的芯片通常难以获得,这导致公司在部署模型时不得不牺牲模型规模,或者导致已部署模型的推理延迟增加。

大多数训练模型的公司,尤其是像ChatGPT和Stable Diffusion这样的生成式AI模型,严重依赖基于GPU的硬件;GPU能够并行执行大量计算的能力使其非常适合训练当今最强大的AI。但芯片数量不足以分配给所有需求方。

微软在夏季财报中警告称,其面临运行AI所需的服务器硬件短缺问题极为严重,甚至可能导致服务中断;而据报道,英伟达表现最佳的AI芯片将一直缺货至2024年。

这促使包括OpenAI、Google、AWS、Meta和Microsoft在内的部分公司构建或探索构建用于模型训练的定制芯片,但即便这样做也未能成为万能药;Meta的努力饱受问题困扰,导致该公司放弃了一些实验性硬件;而据Wired最近报道,谷歌尚未能跟上对其云托管自制GPU替代品张量处理单元(TPU)的需求。

根据Gartner的数据,鉴于今年AI专用芯片支出预计将达到530亿美元,并在未来四年内翻倍以上,Pekhimenko认为推出能让模型在现有硬件上更高效运行的软件的时机已经成熟。

软件优化方案:降本80%且不损精度

“训练AI和机器学习模型的成本越来越高。”Pekhimenko说,“借助CentML的优化技术,我们能够在不牺牲速度或准确性的情况下,将费用降低高达80%。”

这是一个相当大胆的声明。但从宏观层面来看,CentML的软件相对容易理解。该平台试图识别模型训练过程中的瓶颈,并预测部署模型所需的总时间和成本。此外,CentML提供了一个编译器——一种将编程语言的源代码转换为GPU等硬件可以理解的机器码的组件——以自动优化模型训练工作负载,使其在目标硬件上实现最佳性能。

Pekhimenko声称,CentML的软件不会降低模型质量,并且工程师只需“极少甚至无需努力”即可使用它。她补充道:“我们为一名客户优化了他们的Llama 2模型,通过使用英伟达A10 GPU卡使其速度提升了3倍。”

市场竞争与未来展望

CentML并非首家采取软件方法优化模型的公司;它在MosaicML(Databricks于六月以13亿美元收购)和OctoML(后者于2021年11月为其机器学习加速平台获得8500万美元现金注资)等竞争对手面前同样面临挑战。

但Pekhimenko断言,CentML的技术不会像MosaicML有时那样导致模型精度损失,而且CentML的编译器是“新一代”产品,比OctoML的编译器更具性能优势。

在不久的将来,CentML计划将其注意力不仅集中在模型训练优化上,还将扩展到推理优化——即在模型训练完成后运行模型。GPU在当今的推理过程中也被广泛使用,Pekhimenko认为这是公司潜在的增长途径。

“CentML平台可以运行任何模型。”Pekhimenko说,“CentML为各种GPU生成优化代码,减少部署模型所需的内存,因此允许团队在更小、更便宜的GPU上部署模型。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k