边缘计算AI芯片Ara | NXP 为收购AI芯片初创公司Kinara

01 Kinara AI边缘计算芯片Arab-1 / Arab-2

边缘人工智能是指在物理世界中的各类设备上部署人工智能应用程序。之所以称为 “边缘人工智能”，是因为人工智能计算是在网络边缘靠近用户的地方进行的，这里接近数据的产生地，而不是在云计算设施或私有数据中心的核心位置进行。由于互联网覆盖全球，网络边缘可以指代任何地方。它可以是零售店、工厂、医院，或者我们身边的各种设备，比如交通信号灯、自动化机器和手机。

Kinara 开发了两代人工智能加速器。第一代 Ara-1 专注于视觉，面向智能零售和智能城市应用，而第二代 Ara-2 则面向 LLM 和多模式变压器，参数多达 300 亿(INT4)。Ara-1主要在智能零售、安全摄像头等领域应用，Ara-2在边缘服务器、笔记本电脑和高端摄像机中应用。

Ara-2芯片专门为边缘生成AI工作负载而设计，其功耗范围在6W之内，不仅可以每秒生成数十个令牌，还可以在10秒内进行20次迭代，展示了其在边缘服务器和边缘设备应用程序中图像和文本生成方面的优越性能。Ara-2采用了Kinara公司的第二代神经核心，相较于前代Ara-1，每个核心的ALU数量增加了一倍。这个设计使Ara-2在边缘生成AI方面的性能提高了5-8倍。

恩智浦战略高级副总裁 Rutger Vrijen提到：“在边缘运行人工智能的能力比依赖云计算具有巨大优势，这可以归结为能效和成本，还可以减少延迟，让设备和装置能够做出实时决策"。NXP的愿景之一是与边缘设备进行类似人类的实时互动，这需要在设备上运行多模态Transfomer网络，而这正是 Kinara 擅长的领域。因此，Kinara 的技术和市场完全符合恩智浦的人工智能战略。

通过引入 Kinara，NXP正在重新定义边缘设备与新型配电系统的可能性，"新"是指Kinara的离散 NPU 与NXP的处理组合后的新组合。最近在 CES 上进行的一次演示显示，LlaVa-7B 可执行图像分类，Llama 可用于用自然语言描述图像，两者都在 Kinara 和恩智浦主机上运行。一个用例可能是家庭安全摄像系统，它能为用户描述外出时发生的事情。同时双方还展示了Kinara人工智能加速器从恩智浦应用处理器卸载人工智能工作负载的情况。

Kinara IP不会取代恩智浦现有的自主开发的Neutron AI加速器IP，该IP已经应用在一些恩智浦芯片上。恩智浦将继续以分立芯片的形式提供Ara-1和Ara-2，并将支持Kinara正在进行的路线图。未来的集成还可能采用共同封装芯片或模块的形式，然后才有可能转向完整的 SoC。恩智浦的目标是尽可能提供端到端解决方案。分立式 NPU 的吸引力之一在于人工智能工作负载在不断发展，在这种情况稳定下来之前，贸然讨论集成问题可能并不明智，需要先了解 GenAI 工作负载将在哪里趋于稳定，然后再考虑整合合适的计算结构。

Ara-1和Ara-2都可以与恩智浦的i.MX-RT交叉处理器或i.MX应用处理器一起作为主机使用，但无论使用哪种主机处理器，恩智浦都将为Kinara的新老客户提供服务。

Kinara公司的CEO Ravi Annavajjhala认为，“让生成式人工智能充分发挥作用的唯一方法是降低成本，而这正是我们所提供的。通过将生成式人工智能引入边缘，我们能够实现更高的处理效率，从而降低成本，并显著提升隐私和可靠性。”

Kinara成熟的软件工具链也是其吸引NXP的一大原因，边缘计算AI大规模普及的一大门槛是用户实际使用芯片的能力。Kinara的工具链很可能会被纳入恩智浦的eIQ生态系统。为了让Kinara的芯片发挥作用，[客户]需要能够轻松地将模型压缩到这些芯片中，并编译他们可能自己开发的模型，而这正是Kinara需要投入大量精力的地方。

引用：Kinara

到目前为止，Kinara已经售出了大约50万个人工智能芯片，这些数量主要用于试点项目和用例评估。Kinara的客户主要集中在工业和消费领域，但恩智浦也希望将Kinara芯片推向汽车客户。Kinara芯片将用于汽车信息娱乐应用--也许类似于汽车中的PC副驾驶或车内监控，而不是ADAS或自动驾驶。

Kinara 大约有 100 名员工，大部分是工程师，在硅谷和印度海德拉巴工作。Vrijen预计恩智浦将完全吸收Kinara及其所有美国和印度团队。该交易仍需获得监管部门的批准，但预计将于 2025 年上半年完成。