在2026人工智能产业大会“端侧智能”论坛上,中国人工智能产业发展联盟端侧智能工作组联合中国信息通信研究院人工智能研究所正式发布《端侧智能产业发展报告(2026年)》。本文部分内容节选自该报告,围绕概念内涵、核心特征与演进阶段三个维度,梳理端侧智能的产业定位、能力边界与发展脉络。
本文要点
一是概念上:端侧智能是以本地为主、端云协同的融合智能形态。它以终端设备为入口,优先使用本地软硬件资源完成感知、推理、决策与执行,并借助云端算力、模型与知识补充复杂任务。与主要依赖云端集中处理的模式相比,其价值集中在低时延、隐私保护、离线可用、个性化适配和现场执行五个方面。
二是边界上:端侧智能的本质不是“在本地跑模型”的单一部署方案,而是涵盖模型、芯片、传感器、存储、基础软件、智能体框架、应用服务、安全机制和运营生态的全栈能力体系。
三是特征上:本地化、高效化、实时性、隐私性和协同性五项特征共同界定了端侧智能与云端智能的差异。本地化决定数据治理边界,高效化回应资源约束下的能力密度命题,实时性支撑即时反馈与实时控制,隐私性以“数据不出设备”形成更可控的安全方案,协同性则按任务复杂度、设备能力和网络条件动态分工,而非固定比例切分。
四是演进上:产业已走过以单点功能嵌入终端的萌芽起步阶段、AI升格为可复用可调度系统能力的规模化普及阶段,正进入以智能体组织感知、推理和执行的高阶发展阶段。其主线是从“把AI功能放到设备中”转向“围绕模型运行重构软硬件体系”,再走向“以智能体完成真实任务”;决定产业成熟度的是模型、硬件、系统与应用的协同深度,而非单一环节的参数水平。
端侧智能是以终端设备为入口,优先使用本地软硬件资源,完成感知、推理、决策与执行的本地化智能服务,结合云端算力、模型与知识能力,完成复杂任务的融合智能形态。其核心不是某一种具体设备,而是将模型能力与计算、存储、传感、通信、操作系统和执行部件结合,使AI尽可能在靠近数据和任务的位置完成处理,并通过端云协同补充复杂知识、训练更新和高强度计算。与主要依赖云端集中处理的模式相比,端侧智能更强调低时延、隐私保护、离线可用、个性化适配和现场执行。
从狭义看,端侧智能主要指“本地AI运行能力”,即将模型、算法和推理决策能力部署在设备侧或现场侧,依托CPU、GPU、NPU、DSP等计算单元完成指令识别、环境感知、任务分配、推理决策、任务执行与结果处理功能。其典型特征是“模型在本地运行、数据就近处理、结果即时产生”,重点解决云端模式在网络时延、带宽成本、隐私保护、离线可用和实时控制方面的不足。
从广义看,端侧智能并不等同于简单的“本地运行模型”,而是以本地智能为能力基础、以端云协同为运行模式,涵盖模型、芯片、传感器、存储、基础软件、智能体框架、应用服务、安全机制和运营生态的全栈式能力体系。其中,模型需要通过轻量化架构、量化、剪枝、蒸馏、稀疏化等方式适应资源约束;硬件需要通过异构计算、低精度运算、存算协同和低功耗设计提供运行基础;基础软件需要完成编译转换、算子映射、资源调度和能力调用;上层应用则进一步把模型能力转化为持续感知、任务执行和场景服务。
从概念边界看,端侧智能与边缘智能、端侧大模型和端侧智能体既有联系也有区别。端侧智能更关注AI能力在数据产生侧和任务执行侧的本地运行及软硬件融合。
边缘智能:更强调人工智能与边缘计算基础设施融合,范围可覆盖边缘服务器、边缘网关和网络侧节点。
端侧大模型:是端侧智能的重要模型基础,重点解决复杂模型在有限资源下的部署效率问题。
端侧智能体:进一步将模型、记忆、工具和执行能力组织起来,使AI从“能理解、能生成”走向“能规划、能行动”。
端侧智能的核心特征主要体现在五个方面:
一是本地化:关键数据和高频任务尽可能在数据产生侧处理。
二是高效化:通过模型轻量化和软硬件协同在有限资源下提升能力密度。
三是实时性:缩短数据传输与云端往返链路,支撑即时反馈和实时控制。
四是隐私性:通过本地处理、权限隔离和最小化外发降低敏感数据暴露。
五是协同性:根据任务复杂度、设备能力和网络条件,在不同计算节点之间动态分工。
随着智能体能力成熟,端侧智能还将进一步具备记忆、规划、工具调用和持续服务能力。
从产业边界看,端侧智能覆盖从基础硬件、模型与基础软件,到智能原生产品、应用服务和安全治理的完整链条。上游提供AI芯片、传感器、存储、通信与执行部件,中游围绕轻量模型、推理框架、操作系统、运行时和智能体平台完成能力组织,下游则在个人服务、空间智能、移动智能、行业现场和具身任务等领域形成新产品、新业态和新模式。总体来看,端侧智能正在推动人工智能从“集中式模型服务”走向“分布式智能能力”,并把AI进一步嵌入真实世界的感知、决策与执行过程。
端侧智能产业大体经历功能嵌入、系统融合和智能体跃迁三个阶段,演进主线由“把AI功能放到设备中”逐步转向“围绕模型运行重构软硬件体系”,并进一步迈向“以智能体组织感知、推理和执行”。这一过程既体现模型从云端依赖向本地高效部署的迁移,也体现人工智能与芯片、存储、传感、系统软件和执行部件由松散适配走向深度协同。
(一)功能嵌入期(2011—2022年):轻量AI能力开始向设备侧下沉
AI作为附加功能嵌入终端,主要解决“是否具备AI能力”的问题。端侧智能处于萌芽起步阶段,AI主要作为终端差异化卖点存在,尚未成为系统级能力和核心竞争力。此阶段AI以单点独立功能为主,典型应用包括语音助手、拍照美颜、人脸解锁、场景识别等,功能之间相对割裂,缺乏全局协同和跨场景调度能力。技术上以云端推理为主、端侧轻量推理为辅,终端仅集成小规模AI加速单元,端侧算力较低,主要支撑简单算子推理,难以运行大参数模型。总体来看,AI开始打破终端单纯依赖硬件参数竞争的路径,语音交互、影像优化等能力成为产品差异化亮点,但受限于云端依赖、算力不足和功能碎片化,用户体验仍停留在局部智能阶段。
这一阶段的标志性进展主要体现为语音交互规模化、本地AI加速能力出现以及轻量视觉算法普及。语音交互进入高频使用,集成独立NPU的移动芯片推动专用AI计算成为重要硬件能力;2018—2019年后,AI美颜、场景识别等本地视觉能力逐步普及。上述变化说明,模型能否以较低资源开销稳定运行,开始成为产品设计和芯片演进的重要约束。
(二)系统融合期(2023—2025年):AI升级为系统级能力
AI深度融入芯片、系统和应用生态,主要解决“AI能否成为可复用、可调度的系统能力”的问题。端侧智能进入规模化普及阶段,AI从附加功能升级为终端操作系统和硬件平台的基础能力。此阶段AI能力与芯片、操作系统深度耦合,独立NPU逐步成为终端重要配置,操作系统开始内置原生端侧AI推理引擎,推动AI能力从单一应用调用转向全局系统调度。AI能力由局部功能扩展为通用能力,开始支持端侧文档处理、内容生成、多模态理解、会议办公、影像创作、个人知识管理等跨应用、跨场景任务。
核心标志包括:端侧NPU与异构计算能力显著提升,数亿至数十亿参数级模型具备规模化本地部署条件;INT8量化工程化成熟,INT4等更低比特方案开始与硬件能力结合;操作系统和运行时加快集成原生AI服务、模型管理与统一调用接口。产业竞争由“是否具备AI功能”转向“模型能否高效运行、系统能否统一调度、能力能否形成持续服务”。
(三)智能体跃迁期(2026—2030年):端侧AI由模型运行走向自主任务执行
端侧Agent成为新型交互入口,主要解决“AI能否在本地环境中持续理解任务并完成执行”的问题。端侧智能迈入高阶发展阶段,终端将从被动响应工具加速演进为主动服务助手。此阶段端侧大模型将进一步升级为端侧智能体,具备环境感知、长期记忆、任务规划、决策执行和持续学习能力,能够围绕用户意图自主拆解任务、调用工具、联动应用并完成复杂操作。多设备端侧协同生态加快成型,各类终端将围绕用户和场景进行联合感知、联合决策和服务流转,端侧智能也将进一步向自动驾驶、人形机器人、具身智能等更复杂终端形态延伸。
产业形态也将随之变化。人工智能不再只是既有产品的附加能力,而是逐步参与产品定义、服务组织和价值创造,个人智能体、空间智能、具身智能和行业现场智能等形态加快出现。服务入口由固定应用向智能体迁移,价值实现也由一次性硬件销售向能力订阅、持续服务、任务执行和行业解决方案延伸。端侧智能的竞争焦点将更加集中于模型效率、软硬件协同、系统开放性和真实任务完成能力。
◆ ◆ ◆
工作组聚焦终端设备智能化升级改造需求,以“基础硬件—基础软件—端侧模型—Agent应用—安全治理”为主线,围绕端侧芯片、AIOS/AgentOS、端侧模型、端侧Agent应用等重点方向,系统开展四方面工作:
一是产业态势研究:持续跟踪产业链发展态势与关键环节进展,剖析产业现状、技术演进方向与落地实践,形成产业报告、产业图谱、技术路线及先锋案例等系列研究成果,为行业提供决策参考。
二是规范体系建设:按“基础硬件—基础软件—端侧模型—Agent应用—安全治理”主线布局,围绕基础共性、基础硬件、基础软件、端侧模型、智能体应用、互联互通、智能产品与安全治理等模块,组织制定端侧智能相关规范。
三是测试平台共建与验证:完善多类型终端、多层次能力、多场景应用的系统化评测体系,打造开放协同、客观可信的端侧智能产业级评测基础设施。
四是产业生态协同:组织产业研讨、技术交流、企业走访和供需对接活动,搭建产业链上下游沟通协作渠道,推动技术、规范与应用的协同推进。
AIIA端侧智能工作组联系人
刘老师 15810897170
庞老师 17600515012

