点击蓝字 关注我们
近日，中国移动研究院联合北京大学武汉人工智能研究院，将后摩智能M50存算一体芯片与机器人集成，实现Qwen3-VL-8B多模态大模型在存算一体芯片上的本地化部署，支持行走、摆臂等26类基础动作的智能编排。在同等推理性能下，系统功耗降至现有方案的一半，为具身智能机器人端侧推理提供了一种高算力、低功耗的新型算力解决方案。
具身智能机器人自主决策需要多类模型协同完成环境感知、场景理解与动作控制等任务。多模态大模型凭借跨模态信息融合与复杂任务推理能力，成为提升机器人自主决策的关键技术。当前机器人主要依赖英伟达Orin、Thor等传统计算平台，多模态大模型端侧推理将给机器人带来严重的能耗负担。业内普遍认为，机器人最多部署峰值功耗100W的算力，因此，在受限功耗下实现多模态大模型的端侧推理成为当前具身智能机器人的迫切需求。
存算一体通过将存储与计算深度融合，减少数据在存储单元与计算单元之间的频繁搬运，具备高算力、低功耗的优势，可与传统计算架构形成互补，在相同功耗约束下支持具身智能机器人部署更大、更强的多模态大模型。为加速存算一体芯片在具身智能机器人领域的落地，研究团队提出了一套面向存算一体架构的大模型优化与部署方案。
一是提出面向存算一体架构的计算图融合与算子适配优化策略。通过编译优化将复杂算子拆分为适配存算一体的基础计算单元，并将Transpose、Reshape等张量操作与前后相邻算子融合成单个内核，精简计算图结构，减少冗余计算和数据搬运开销，实现Qwen3-VL-8B多模态大模型在存算一体芯片的适配部署。
二是提出基于量化敏感度的自适应混合精度量化策略。利用校准数据输出的余弦相似度评估量化前后的差异，对计算敏感的数据保留较高精度，对适合低精度计算的部分进行量化压缩。在图像任务下，4-bit量化模型可保持浮点模型99.5%的精度，相较FP16实现超过3.5倍显存节省。
三是提出面向多存算阵列的访存优化方案。将一组相邻算子的中间计算结果驻留在片上缓存，减少数据搬运。同时，采用数据分块与流水并行技术，优化阵列间数据传输与计算执行顺序，减少阵列间计算等待，实现大模型端侧推理加速。
面向存算一体的多模态大模型优化策略
基于上述技术，实现Qwen3-VL-8B多模态大模型在存算一体芯片上的本地化部署与低功耗实时推理，推理速度达20tokens/s，芯片平均功耗小于15W，支持26种机器人动作的组合编排，实现自然语言指令理解、任务自主规划与机器人动作执行的智能闭环，验证了存算一体技术在具身智能机器人低功耗自主运行场景中的应用可行性。
存算一体芯片与机器人集成
未来，中国移动研究院将持续优化多模态大模型端侧推理性能和机器人交互能力，探索存算一体技术在复杂环境感知、实时任务规划和机器人自主决策等场景中的创新应用。
