【AI问爱答】第二期问答干货请查收，诚邀您来提问

首先，苹果发布的是一个现象级的关于端侧大语言模型的定义或者规范，与上一代的AI产品比如人脸识别、图像识别、检测这样的以视觉为主的模型相比，本质上是提升了它的语言模型能力和多模态的相关能力，这些能力的提升会对消费电子的整个体验带来比较大的一个提升，这也是行业的趋势。从技术路线来看，苹果采用简单场景在本地完成，复杂场景在云上完成。同时，苹果在端侧模型的场景上或者性能上，它做了非常重要的工作，就是内存管理做的非常好，解决了大语言模型在本地推理的性能和功耗问题。

从模型的能力上来讲，苹果的模型，现在我们没有看到非常好的公开的一些指标。以通义为例，针对小尺寸的模型7B以下，Qwen2的1.5B模型，在小尺寸的范围内是非常领先的。从模型本身的效果表现上来讲，我觉得我们国内去赶超苹果的模型，指日可待。

车的场景是跟用户体验非常息息相关的，那车这个场景又分两个大的板块，一个是智驾，一个是座舱。智驾本质上更偏自动驾驶，用到的算力相对会更大一些。目前基于大语言模型去结合智驾这样的场景，还比较早期。国内车企在座舱这块的体验做的都非常好。基于语言模型做座舱的智能交互、座舱控制，是一个比较大的一个趋势，国内的厂商目前主要是在做这样的方向。技术链路上更多的是以端侧的小尺寸模型结合云端的大尺寸的模型去为主，有点类似于像苹果的方案。

目前所有的AI能力，单点能力相对表现的比较好，在某种程度上是要远远超过人类的，但在协同性，在非常复杂的场景上，它的能力还偏弱。以目前的状态来看，更多的是人和AI工具的共存，这带来的挑战就是AI的边界会越来越外扩，人的边界会越来越收缩。你不能消灭它，你只能去拥抱它，在以AI为主的场景上，去找自己适合生存的链条。

目前端上的模型落地，面临的一个非常大的挑战点是在于面临着像性能，资源、功耗多方面的一个平衡。不管手机也好，PC也好，甚至车也好，算力受限，内存有限，对精度的要求不比云上要低，场景也复杂，选用大尺寸的模型，内存和推理速度没办法满足，选用小尺寸模型，整个效果会变得比较差。现在所谓的小尺寸模型,本质上来讲还是一个很大的一个模型。它的资源占用，它的推理性能，其实是一个非常大的瓶颈。

模型部署和推理性能挑战的来源当然首先是模型规模了。模型规模和上下文的规模还在持续增长，并且远远高于硬件算力、显存宽大的增长速度的，所以这对于模型部署的权重，上下文压缩，计算加速，基于分布式架构的可扩展性，都提出了非常高的要求。今天大语言模型通常具备非常全面的理解推理和生成能力，甚至同一个模型可以在很多场景中解决不同领域的问题。对于模型部署和推理计算来说，多样的场景就会带来很多样的性能需求和计算特性，就需要模型推理引擎和模型部署平台具备非常全面的能力。

对于不同模态来说，它的输入输出的形式会发生变化，对上下文有更高的要求。基于这个挑战，我们目前在大语言模型的推理优化主要包括像高性能计算的优化，低精度量化压缩，批处理的调度管理，运行时的优化，高效解码，上下文的缓存，以及更高效的分布式架构等方面。

首先要确定优化的目标，一般来说优化的目标就是训练一批token的总时间，具体的指标上就是token/s。

token/s具体到硬件上，其实就是对硬件资源的有效的利用率，也就是我们常说的指标MFU。计算量确定了，怎么样去做这个优化呢？要根据各个硬件单元的吞吐来理论预估模型训练的瓶颈，以及性能优化的空间，具体可以从计算、通信和显存三个大方向进行入手。

在计算上，可以首先把计算的算子大约划分为访存密集型的算子和计算密集型算子。访存密集型算子的计算时间是跟访存时间相关的，那可以从访存的量和访存的带宽来理论预估这个算子的执行时间。计算密集型算子的计算时间是它的算力峰值和计算量来做计算时间的预估，可以对比实际的执行时间来评估各个算子的占比和优化空间。

在显存上，要根据模型的结构以及它中间的activation大小，来理论预估这个模型所占用的显存大小，并且要结合所使用的分布式策略、offloading策略以及其他显存优化策略。

在通信上，需要结合分布式策略所对应的算子，它的理论通信带宽是不一样的。它在机内和机间的执行速度，也要根据机内和机间带宽来进行理论预估。在这样预估通信时间之后，就可以根据这个计算时间、计算的算子和通信的算子之间的依赖关系，来预估一下这个算子之间是否能够overlap起来。如果没有掩盖好的话，我们要预估一下通信没有被掩盖部分的占比，这能够帮助我们去改善分布式策略。

有了这些瓶颈点定位、优化空间，以及评估数据后，我们就可以从具体的瓶颈点入手。

一种方式就是需要根据理论预估，并且需要专家经验来对特定的模型使用特定的优化算子，以及分布式策略和显存优化策略。另外一种方式就是编译优化。PAI有一个TorchAcc框架，就是基于静态计算图来进行编译优化。还有一个最底层的根据硬件来做自动的算子融合和codegen，来生成对应的硬件更高效的算子。总而言之就是提升训练性能，还需要根据实际显卡的容量和带宽，从计算、显存和通信这几个方面入手。PAI提供了包括TorchAcc在内，支持包括像Llama、GPT这种架构的模型，以及MoE、DiT以及多模态架构的模型。