Cocos + 鸿蒙 + 端侧 AI
今天我们直奔主题，给大家剖析一个 Cocos + 鸿蒙 + 端侧 AI 的项目，让大家感受一下底蕴深厚的 Cocos 与前沿 AI 技术结合的效果。
项目已开源，点击文末【阅读原文】跳转到项目源码页面。
由于赶着分享干货，关于 Cocos，本文就不再敷述了，可以参考之前的文章：
有哪些用 Cocos Creator 开发的小游戏，成为了春节爆款？
月入超6亿，又一款Cocos亿级小游戏全球霸榜了！ | Created with Cocos
项目介绍
这是一个结合了 Cocos、HarmonyOS、端侧 AI 三大技术的 3D 应用，让用户可以通过拍摄户型图就能快速生成 3D 预览，包含了以下技术要点：
-
3D 渲染 -
设计图扫瞄 -
端侧 AI 墙体 3D 建模 -
云侧 AI 家具 3D 建模 -
数据压缩传输 -
语音识别与播放
之所以选择 3D 应用而非 3D 游戏，是因为 3D 应用更能将这上面的技术结合优势发挥出来。
技术剖析
端侧 AI 协同
在这个 3D 应用中，除了依靠 Cocos 实现了流畅的高性能 3D 渲染外，最大的特色就是端侧 AI + 云侧 AI 协同，实现了毫秒级响应。
依靠鸿蒙自带的端侧 AI 的数据保密性，也让用户隐私更加安全（用户不需要将户型图上传到服务端）。
HarmonyOS 提供了非常多的端侧 AI 能力，这些能力直接就集成到了系统开发工具包中，不需要自己集成，极大地提升了应用开发效率，这是前所未有的体验。
3D 渲染
本项目使用了 Cocos Creator 3.8.6，使用 JSVM + ArkTS，在 HarmonyOS 上实现了高性能 3D 渲染。
作为全球首款支持 HarmonyOS 的游戏引擎，Cocos 在 HarmonyOS 上的表现始终稳定、高效。
自带的一键打包功能，点击构建后，即可生成 DevEco Studio 项目，打开即可启动。
由于 ArkTS 与 TS 的同源性，在编写 Cocos 和 HarmonyOS 原生端代码时，无需切换编程语言思维，非常丝滑。
端侧 AI 设计图扫瞄
HarmonyOS Vision Kit 集成了视觉类AI能力，包括人脸活体检测、卡证识别、文档扫描、AI 识图控件等能力。
在这个项目中，使用了文档扫描（DocumentScanner）能力，轻松搞定。
端侧 AI 墙体 3D 建模
墙体 3D 建模主要分为了点识别和模型生成成两个部分。
1.点识别
HarmonyOS MindSpore Lite Kit 是内置的轻量化AI引擎，这里主要用它来实现设计图的识别。
通过 MindSpore 我们轻松获得了墙体数据。
2.墙体 3D 建模
拿到墙体数据后，我们通过 Cocos 引擎自带的 utils.createMesh 方法，动态构建顶点数据，实现墙体三维渲染。
“墙体扫瞄、数据生成到建模，均在本地完成，所以这是一个端侧 AI 方案。
端云混合的 AI 家具 3D 建模
可以看到，除了墙体，我们还需要生成一些 3D 模型。
这里我们使用了鸿蒙端侧的 Segment 做物体切割，Mindspore 里的 MobildNet V2 做切割和识别。
再把识别后去除背景的 pixelmap 通过 rodin/tripo 的模型生成服务。这类服务是运行在服务端的，所以我们一般称作 云侧 AI。
通过云侧 AI，我们可以轻松实现高质量的模型生成，又不用担心设备算力的不足。
数据压缩传输
为了降低服务端到客户端的数据传输量，项目中还用到了 HarmonyOS Image Kit，通过去色、格式转换等操作实现了图片数据压缩，节约服务端带宽成本。
端侧 AI 语音识别与播放
为了方便用户，应用中还支持了语音输入，语音转文字功能。 这里也是直接使用了 HarmonyOS 自带的 Core Speech Kit基础语音服务。
这也是一个端侧 AI 服务，集成了语音类基础 AI 能力，包括文本转语音及语音识别能力，便于用户与设备进行互动，实现将实时输入的语音与文本之间相互转换。
喵+AI = 战队
上周，孙二喵同学带着他的 AI 们，组建了一支名叫 CocoCat 的战队，参加了今年的“HDC HarmonyOS 极客马拉松”。
“看来，有了 AI，真的可以一喵成军耶！
凭借 Cocos 引擎 + 鸿蒙 + 端侧 AI 三大技术特色，这款产品在众多作品中脱颖而出，荣获二等奖。
在搜索 Cocos 与 AI 结合的路上，二喵总是一马当先，已经有不少落地的方案与作品。
<<< 左右滑动见更多 >>>
最后
来感受一下火爆的现场吧！有兴趣的开发者们，可以开始准备 2026 的极客松了。
<<< 左右滑动见更多 >>>
