
01
颠覆性的NAPU
当前,传统的以CPU为中心的AI推理方案已成为AI广泛应用的障碍之一,根本原因是现有AI推理方案没有针对AI推理进行一系列优化。具体表现在以下方面:
-
CPU不是专为AI应用而设计的硬件,在应用中常常存在高成本、低可扩展性、高延迟等弊端; -
以CPU为中心的架构需要配备多个硬件组件,如网卡、CPU、深度学习加速器DLA,而在DLA上每花费1美元都需要在周边组件上花费3美元; -
部署一个训练有素的AI模型,对于客户研发人员的时间、精力、技术专业性等都提出了更高要求; -
常用编排工具并未针对AI进行优化等。


02

推荐阅读
一年收获9家硬科技独角兽,批量复制的秘密是什么?
挤破头投硬科技,成立仅五年VC何以差异化突围?


