英伟达（Nvidia）无与伦比的市场主导地位虽未终结，但来自各方的挑战者和选择正在涌现。
ZML是一家备受图灵奖得主杨立昆（Yann LeCun）认可的法国热门AI初创公司。其推理-性能软件使得各种开源大型语言模型能够在多种芯片上运行——包括英伟达、AMD、谷歌TPU、Apple Metal和英特尔Arc。
ZML创始人Steeve Morin告诉TechCrunch，随着新推出的LLM推理服务器ZML/LLMD的上线，公司的雄心是打破现有的壁垒，让不同芯片在AI应用场景中以最大可用速度（有时甚至更快）发挥作用。
随着人工智能日益融入我们的工作与日常生活，优化推理——即提示词处理——的重要性已超越模型训练。但Morin表示，幕后往往显得支离破碎，存在导致厂商锁定（vendor lock-in）的软件和架构障碍。
在各种芯片上实现峰值性能是一项技术壮举，但在人们对AI相关成本担忧加剧的背景下，它也可能成为市场颠覆者。
ZML希望为企业和云平台提供使用混合芯片的选项，其中一些芯片可能成本更低或能耗更少。“我们的理念是让人们重新掌握构建自身系统的权力，实现真正的效率提升，从而促进[人工智能]的普及。”Morin说。
Morin指出，此类软件辅助可能有助于新兴的AI芯片制造商，其中许多来自欧洲。他引用了Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud和VSORA。但对他而言，比其起源地区更重要的是，ZML能够与他们合作开展“世界上从未做过的事情”。
这并不意味着Morin对英伟达持悲观态度。他告诉TechCrunch，ZML与这家AI芯片巨头保持着良好关系，后者一直在为推理时代的崛起做准备。
推理领域吸引了如此密集的投资，以至于这一趋势被赞誉为“推理淘金热”。因此，ZML面临着来自Baseten等公司的竞争，该公司最近估值达130亿美元；还有Inferact，它源自开源项目vLLM的创造者；以及RadixArk，即SGLang背后的商业公司。
vLLM和SGLang都与LLMD存在部分竞争关系，但Morin对ZML的野心涵盖更广泛的领域。“我们已经到了共同设计芯片的阶段，”他说。他进一步将ZML这支仅有20人的精简团队归功于其能够快速推进的原因，巴黎这家初创公司计划推出更多版本。
此外，这支小团队资金充足，与其规模相匹配。凭借他在Zenly担任工程副总裁的记录（Snapchat于2017年以九位数金额收购了该公司），Morin从包括Harry Stebbings的20VC、>commit、AALVC、Drysdale Ventures、Xavier Niel的Kima Ventures、Kindred Capital、LocalGlobe和Puzzle Ventures在内的风险投资公司筹集了2000万美元。
与ZML的第一个公开项目不同，这个专注于推理的机器学习框架于2024年发布并在3月进行了更新，ZML/LLMD并非开源。但它作为免费产品推出，旨在了解使用情况。Morin表示：“我宁愿先进行衡量，然后在最有效的地方产生收入，而不是因为一开始就过于贪婪而愚蠢地阻碍我的增长。”
目前尚难判断ZML/LLMD何时会推出付费产品，以及其采用情况将如何发展。但该公司的股权结构表证实，其他创始人正密切关注此事，其中包括Dagger和Docker的创始人Solomon Hykes、来自Hugging Face的Clément Delangue和Julien Chaumond，以及现任职于AMI Labs的LeCun。这也进一步印证了欧洲的人工智能初创企业如今可以在本土起步。“除了巴黎，我在别处无法开展ZML的工作，”Morin表示。