WAIC现场直击｜端侧算力竞赛爆发，聆思手握下一代AI终端落地关键筹码

首颗端侧大模型 AI 推理芯片预计年底发布。

作者 |  程茜

编辑 |  漠影

智东西 7 月 21 日报道，在刚刚落幕的世界人工智能大会（WAIC 2026）上，终端智能硬件迎来集中爆发。行业焦点正从云端超算集群向手机、AI PC、人形机器人、智能座舱及全屋中控等泛终端硬件转移。

AI 落地形态随之革新，不再局限于静态对话窗口，而是进入具备感知、理解、交互和执行能力的真实设备。这一变化决定了未来智能硬件的底层逻辑：它们不仅是终端，更是搭载本地 AI 能力的算力载体。

产业竞争的关键分水岭已推向更底层：能否在低功耗、小型化、低成本约束下，实现高效、稳定、可规模化的大模型本地推理，并搭建适配多类终端场景的芯片平台。具备端侧 AI 推理芯片自研能力并能导入产品的厂商，将掌握本轮爆发的入场券。

透过 WAIC 的浪潮可见，AI 产业发展核心正从云端展示走向端侧落地，从软件体验竞争转向芯片底座竞争。端侧 AI 芯片将成为串联全品类物理智能终端、支撑全域智能化落地的关键基础设施。这也是聆思科技值得被重新观察的原因。

作为长期深耕端侧 AI 芯片的企业，聆思计划于今年年底发布 Nebula 系列端侧大模型 AI 推理芯片，旨在满足终端智能硬件爆发背后的底层算力需求。

01. 端侧 AI 全面崛起，底层算力商迎来技术大考

在 WAIC 大会上，端侧 AI 爆发已成共识，这场由终端场景驱动的算力革命正倒逼芯片产业变革。核心问题在于：为何传统芯片路线已无法满足端侧大模型的发展需求？答案藏在应用进阶与场景刚需之中。

当前，端侧大模型已从“能不能跑”的可行性验证，迈入“能不能实时、稳定、低功耗地跑”的实用性落地阶段。AI PC、机器人、智能座舱等场景需要的不只是模型移植，而是芯片支撑起的持续运行、多模态交互、低时延响应及低功耗消耗的本地推理能力。

要理解传统芯片的困境，需认清真实终端场景的约束。云端 AI 虽算力强大，但在时延、联网稳定性、数据隐私及带宽成本等方面存在硬伤。尤其是机器人、智能座舱等直面物理世界的入口，关键决策必须毫秒级响应，无法长期依赖云端，网络延迟可能带来安全风险。

这种需求放大了端侧本地推理的价值，也暴露了传统芯片路线的短板。以往竞争集中在峰值算力参数，而规模化落地阶段则转向全维度的系统效率竞争。表面是算力比拼，实则是面向 Transformer 推理数据流的系统架构竞争。

决定芯片实用性的是一系列综合指标：实际 tokens/s 处理速度、首 token 延迟、运行功耗、内存带宽、模型兼容性、板级面积、BOM 成本及配套软件工具链。这些恰恰是传统端侧 AI 芯片的短板。过去芯片主要面向 CNN、RNN 等传统模型，面对 Transformer 类生成式大模型时，在推理时延、带宽及功耗控制上难以兼顾平衡。

聆思科技市场副总裁韩超阳指出，当下端侧大模型 AI 推理的最大瓶颈在于，市面上专为大模型推理算法原生设计的端侧 AI 芯片仍然稀缺。

▲聆思科技市场副总裁韩超阳

专用端侧大模型 AI 推理芯片技术门槛极高，要求厂商实现大模型、算法与硬件架构的深度协同。只有围绕大模型开展原生设计，才可能在算力利用率、内存带宽、功耗控制、硬件成本及推理时延等多维度达成综合最优。

02. 首款原生端侧推理芯片年底亮相，优化四大硬指标

适配大模型的专用端侧芯片应具备何种特质？Transformer 架构下，大模型推理并非均匀计算过程：Prefill 阶段算力集中，Decode 阶段算力零散，导致资源需求剧烈波动。

第一，提升算力利用率

若芯片仅追求纸面峰值算力而无法适配动态负载，会导致硬件闲置，引发响应慢、发热高、续航差等问题。聆思年底发布的 Nebula 系列芯片瞄准此痛点，其并非简单放大传统 NPU，而是面向 Transformer 类大模型推理原生设计的 AI NPU。

基于反向定义计算架构的设计，Nebula 系列预计可实现 10 倍计算加速，推理速度超过 100 tokens/s。

100 tokens/s 意味着在 AI PC、机器人等场景中，端侧大模型能实现低延迟、连续生成和稳定响应，从“能跑”跨越到“好用”。

第二，突破内存带宽瓶颈

大模型推理涉及大量数据搬运，内存带宽直接决定生成速度和能效。终端设备无法像云端无限堆叠内存，必须在有限体积内解决带宽问题。Nebula 采用 3D-DRAM 堆叠技术，内存带宽可达传统 LPDDR 的 5-10 倍。

这一架构变化缩短了存储与计算的数据通路，减少因访存不足造成的算力闲置，支持更大参数规模模型在更小体积内运行。

第三，适配多样化模型规模

不同终端对模型规模、响应速度及功耗预算需求各异。Nebula 系列预计可支持 10 倍模型参数规模跨度，并通过搭配不同容量堆叠内存适配不同规格模型；在高算力场景中，还可通过芯片级联技术实现弹性扩展。

第四，强化工程化落地能力

端侧大模型芯片的规模化不仅取决于单点性能，更取决于工具链、SDK 及参考设计。Nebula 将配套完整的软件生态，帮助客户完成模型移植和适配，降低从样机走向量产的门槛。

Nebula 的关键意义在于推动行业竞争从纸面算力转向有效算力、存储架构、模型适配和工程落地能力的综合竞争。

03. 从语音视觉到大模型，聆思端侧路径的演进

技术路线明确后，关键在于谁能将芯片真正导入终端。端侧大模型推理芯片需面对成本、功耗、体积、稳定性及交付周期等现实挑战，这正是聆思过去几年的积累所在。

聆思累计芯片出货量已超过亿颗级别。其业务涵盖语音和视觉两大方向：在语音领域，快速进入海尔、美的等白电龙头供应链，证明了其在成本、功耗及可靠性上的成熟交付能力；在视觉领域，方案已应用于扫读笔、手持云台、智能门锁等设备，实现离线人脸识别、手势控制等功能，成为第二增长曲线。

▲聆思科技合作伙伴

Nebula 的目标是在原有布局上再进一步，让终端设备具备本地理解和推理能力。端侧感知模型与认知大模型并非替代关系，而是协同发展：小模型负责低功耗实时感知，大模型承担复杂语义理解与推理决策。

因此，Nebula 是对既有产品线的升级和延展，而非替代。目前，聆思已联合联想、聆动机器人、海尔、美的、面壁等企业启动联合预研，推动芯片在 AI PC、机器人、智慧家庭及智能座舱四大方向的产业化落地。

从语音到视觉，再到端侧大模型推理，聆思的能力边界正从感知智能延伸至认知智能，始终坚持从真实终端需求出发倒推芯片架构。

04. 结语：不止一颗芯片，锚定 AI 物理世界入口

WAIC 上，人形机器人、智能座舱、AI PC 及全屋中控的端侧智能展示，印证了高性能端侧大模型 AI 推理芯片是通用人工智能走进物理世界的基石。

▲图片由 AI 生成

在此背景下，聆思科技的目标不仅是打造一款芯片，而是搭建面向智能设备时代完整的端侧大模型推理基础设施。依托完整端侧推理基础设施实现本地自主智能，将是打通通用人工智能落地最后一公里的关键。