算不动、装不下、跑不久：软硬件如何协同破解

算力、存储和电量共同约束端侧模型的部署与运行。模型计算需要与芯片能力匹配，权重、推理缓存和中间数据需要共享有限内存，持续感知与交互还要兼顾功耗和温度。长上下文、多模态处理与连续任务增加资源压力，“算不动、装不下、跑不久”成为端侧智能从模型部署走向持续服务需要应对的问题。

软硬件协同需要贯通模型适配、资源供给与实际执行。智能硬件通过异构计算、高效存储和低功耗设计提供运行基础，基础软件通过编译适配、算子映射与资源调度组织模型执行，并依据内存、温度和任务优先级调整负载。二者共同作用，支撑模型在不同设备条件下高效、稳定、持续运行。

智能硬件层决定端侧模型可运行的能力边界。其发展重点正从单纯追求峰值算力，转向计算、存储、感知和能效协同优化，使模型能够在不同资源条件下保持较低时延、较小内存占用和可持续运行。

▍ 异构计算与低精度加速提升本地推理效率

CPU、GPU、NPU等计算单元各有优势，端侧智能逐步通过异构协同匹配不同模型算子和任务阶段。NPU承担矩阵与张量计算，CPU负责控制与通用逻辑，GPU适合并行计算和多媒体处理；INT8、INT4等低精度计算以及结构化稀疏进一步降低计算量和能耗。硬件优化重点正在由“算力更高”转向“单位功耗下有效AI算力更高”，为轻量模型和多模态模型持续运行提供基础。一是强化AI专用计算与异构集成，高通Hexagon、联发科天玑系列持续增强面向Transformer和生成式AI的专用计算能力，紫光展锐T9100、瑞芯微RK3588等也通过CPU、GPU与NPU协同提升端侧模型运行能力。二是支持低精度与稀疏执行，Arm Ethos-U85、瑞芯微RK3588和天玑9500通过相应数据格式与计算支持，将压缩模型的资源优势转化为执行收益。三是由单一AI加速向系统级协同演进，英特尔 Lunar Lake、意法半导体STM32N6等通过处理器、AI加速单元和输入处理能力集成提升端侧AI执行效率，紫光展锐、地平线等也在芯片、软件工具链和模型适配方面持续完善。

▍ 内存与存储优化缓解模型权重和运行状态压力

统一内存、高速存储与存算协同配合，支撑模型加载、长上下文和多模态处理。一是扩大权重与缓存的承载空间，此芯P1、AMD Ryzen AI Max+ 395和DGX Spark通过共享内存及容量分配支持本地模型运行。二是衔接运行内存与持久存储，长鑫、三星LPDDR5X提高数据传输能力，Lunar Lake采用封装内存，天玑9500以UFS 4.1接口支持模型加载。三是减少外部访问，AMD XDNA通过本地存储复用数据，WTM-8和天玑9500进一步结合存储与计算，降低数据搬移开销。

▍ 感知、能效与执行协同支撑持续智能服务

端侧智能需要长期接收视觉、语音、位置和环境信息，并将推理结果转化为交互反馈或设备动作。传感器前端处理、低功耗常驻感知、动态电压频率调节和温度反馈等机制有助于降低持续运行开销；显示、音频、触觉和执行器则把模型结果连接到真实任务。硬件体系因此从“提供算力”进一步转向“支撑感知—推理—执行闭环”。

总体来看，智能硬件的演进重点是围绕模型运行效率重构资源组合，通过异构计算提升有效算力，通过内存与存储优化降低数据搬移，通过低功耗感知和执行能力延长智能服务链路。未来硬件设计将更加重视与模型结构、量化精度和任务特征的协同。

表3　以人工智能任务需求为牵引的智能硬件技术分层

基础软件层承担模型与多样化硬件之间的适配和组织作用。其核心价值是把模型结构、算子和运行状态映射到具体计算资源，并根据内存、功耗、温度和任务优先级动态调度，使同一类模型能够在不同芯片和系统环境中稳定运行。

▍ 编译与运行时适配降低跨硬件部署成本

统一编译与后端接口，优化计算和加载过程，提升模型跨终端部署效率。一是以LiteRT模型转换、ONNX Runtime执行提供程序和ExecuTorch子图委托，衔接模型表示、算子支持与硬件执行。二是通过Core ML注意力融合内核、MNN-LLM数据重排和FlagOS公共算子、编译组件，减少重复适配与执行开销。三是通过模型预加载、驻留控制与执行器预热，减少模型调用时的准备开销。例如，Ollama通过预加载和内存驻留控制，减少加载等待与重复加载；苹果通过模型执行器预热，提前完成部分初始化工作。运行框架则负责推理过程中的会话管理、缓冲区管理和结果输出。

▍ 资源调度提升持续运行稳定性

端侧模型需要与前台应用、传感任务和系统后台共享有限资源。内存预算、模型驻留、并发控制、缓存复用和温度感知调度可以避免资源争抢和频繁加载；在功耗或温度达到阈值时，系统还可降低并发、调整模型规模或延后非紧急任务。由此，端侧优化从一次推理性能进一步转向长时间运行的稳定性。

结合资源预算、任务优先级与设备状态，协调常驻感知、前台推理和后台维护。一是通过FreeToken的CPU-GPU协同、专家缓存，以及Core ML缓存原位更新、MNN-LLM分层存储，控制计算与数据搬移开销。二是以Ollama的并发、排队和模型驻留上限约束负载，并借助CHRE低功耗任务下沉、WorkManager条件调度，减少资源争用与无效唤醒。三是利用ADPF温度反馈和性能提示，由应用调整并发与非紧急任务，将短时峰值优化延伸到持续响应。

▍ 智能体运行与端云协同扩展系统级能力

随着端侧应用从问答走向任务执行，基础软件开始承担上下文管理、工具调用、状态保持和任务编排。一是通过上下文管理与状态持久化，支撑多步骤任务的连续执行。如，LanguageModelSession与Transcript记录交互及工具结果，配合运行框架的状态和检查点衔接暂停、恢复与结束。二是通过将复杂任务拆分为子任务，依据任务类型选择执行主体，按照步骤之间的依赖关系组织顺序执行或并行处理，再汇总各子任务的结果，形成后续步骤的输入或最终输出。如，利用LangGraph的路由、并行和协调者—工作者机制，组织多智能体分工及结果汇总。三是通过权限隔离、操作确认与重复执行控制，约束智能体对应用、文件和外部服务的实际操作。例如，Windows智能体账户、隔离工作区和运行框架的中断确认约束真实操作，并按步骤设置恢复路径。

结合任务需求、模型可用性与数据边界，衔接本地处理和云端补充。一是通过任务路由与执行策略，选择端侧或云端模型，并明确切换条件，如Firebase AI Logic的端侧优先、云端优先及仅端侧等模式。二是通过统一调用与上下文管理，衔接模型切换前后的任务信息，如苹果Foundation Models通过动态会话配置选择端侧或私有云计算（PCC）模型，并管理交互历史、指令与工具。三是通过云端环境验证与请求加密保护外发数据，如PCC的节点验证和加密机制；同时针对模型不可用、网络异常或配额不足配置替代模型、延后执行等处理路径。

总体来看，基础软件正从单一推理框架扩展为“编译适配—资源调度—任务编排—端云协同”的完整运行链路。其成熟度直接决定模型能否低成本适配多样化硬件，并将局部模型能力转化为稳定、连续的系统级智能服务。

表4　以人工智能任务需求为牵引的基础软件技术分层

▍ 中国信通院端侧智能工作介绍

围绕端侧智能产业发展与生态建设，从产业研究、标准体系、测试验证、工具平台四方面，构建贯通技术研究、规则制定、能力验证与成果推广的完整链条，持续汇聚产业链各方力量，共建端侧智能产业生态。

一、产业研究

持续跟踪端侧智能产业链发展态势与关键环节进展，剖析产业现状、产业链生态、技术演进方向与落地实践，形成产业报告、产业图谱、技术路线等研究成果。连续编制发布《端侧智能产业发展报告》系列年度报告，同步开展人工智能先锋案例征集，沉淀可对照、可复用的实践样本。

二、标准体系

按“基础硬件—基础软件—端侧模型—智能体应用—安全治理”主线布局，围绕基础共性、基础硬件、基础软件、端侧模型、智能体应用、互联互通、智能产品与安全治理等模块，组织制定端侧智能相关标准，构建从术语定义、参考架构到总体要求、测试方法的完整规范体系，推动标准与产业实践同步迭代。

三、测试认证

构建“端侧AI测试体系”，已覆盖模型能力、多模态交互能力、智能体应用、系统基础能力、智能体能力、智能产品能力6大维度，涵盖端侧AI的模型功能、模型性能、模型安全、人工智能操作系统能力分级、多模态交互、智能助手、智能体支付测试等16个专项测试服务的测试体系，形成“专项测试—能力评估—项目验收”一体化服务能力，已成为端侧智能产品验证、能力评价、项目验收等方面的重要参考。

四、工具平台

建设端侧智能测试验证平台，面向多类型智能终端，围绕端侧智能体能力、模型能力、系统组件等重点方向，构建覆盖测试用例、数据集、真实设备执行、结果判定和报告生成的测试验证体系。围绕不同终端形态和应用场景，中国信通院联合产业伙伴启动“端侧智能测试平台共建计划”，共同推进测试标准、用例、数据集、评价方法与工具建设。