手机断网以后,有些AI功能还能继续用,有些却马上停了。
区别往往不在功能名字,而在AI到底在哪里工作。
云端AI把数据送到远程服务器处理。它可以使用更大的模型,更新和管理也更集中,适合复杂推理、长文档分析和跨系统查询。代价是依赖网络,数据需要传输,调用量增加以后还会产生持续费用。
端侧AI则把一部分模型放在手机、电脑、汽车或工厂设备上。NIST对边缘相关计算的描述,也强调让应用和数据分析更靠近数据产生的位置。
这意味着,设备不必把每一张图片、每一段声音都传到远处。现场需要快速响应,或者网络不稳定时,本地处理会更合适。
端侧AI也有自己的麻烦。设备的内存、算力和电量都有限。模型持续运行会发热,还要面对不同芯片、不同系统和软件版本。TensorFlow的模型优化文档把模型大小、计算效率、时延、内存和功耗都列为边缘部署要考虑的问题。
企业不必在端侧和云端之间站队。
工厂的质检摄像头可以在现场识别明显缺陷,发现问题后立即停机。每天的质量趋势、复杂异常分析和模型更新,则可以放到云端统一处理。
手机里的AI也在采用类似分工。Apple公开的方案包含约30亿参数的端侧模型,同时保留更大的服务器模型处理复杂请求。[2]设备先解决适合本地完成的任务,超过能力范围后再交给云端,这就是云边协同。
客服终端也可以先在本地去除敏感字段,再把处理后的复杂问题交给云端,减少原始客户数据外传。
企业选择方案时,可以先看任务,而不是先买设备。如果结果晚一秒就会影响生产,原始数据不适合外传,或者现场经常弱网,端侧的价值会比较明显。如果任务低频、变化快,还需要大量外部知识,云端通常更省事。
实际项目经常需要把一个流程拆开:哪里采集数据,哪里做第一次判断,什么情况需要上传,谁负责最终确认。分工设计清楚以后,模型放在哪里才有答案。
端侧和云端没有谁取代谁。对企业来说,合适的方案只有一个标准:让任务稳定完成,同时把成本和风险控制在可以接受的范围内。

