【386期开放夜】TinyML实现边缘设备机器学习 | 超低功耗AI算法原理及应用分享



【386期开放夜】TinyML实现边缘设备机器学习 | 超低功耗AI算法原理及应用分享

蘑菇云创客空间

2022-05-01

导读：周四晚19:30线上直播分享

机器学习 (Machine Learning—ML) 是一个充满活力且强大的计算机科学领域，几乎渗透到我们与之交互的所有数字设备中，无论是社交媒体、手机、汽车，甚至是家用电器。

人工智能AI正在加快速度从“云端”走向“边缘”，进入到越来越小的物联网设备中。在终端和边缘侧的微处理器上，实现的机器学习过程，被称为微型机器学习，即TinyML。

什么是TinyML？

What is TinyML?

TinyML全称为“Tiny Machine Learning”微型机器学习。是指工程师们在mW功率范围以下的设备上，实现机器学习的方法、工具和技术。

因此可以支持各种不同的电池驱动的设备，和需要始终在线的应用。这些设备包括智能摄像头、远程监控设备、可穿戴设备、音频采集硬件以及各种传感器等等

它是不同技术领域和推动因素的交集，它位于物联网设备、机器学习和边缘计算之间的结合部，并因为多种驱动力的综合作用，进展很快。

TinyML工作机制

Working mechanism of TinyML

深度压缩示意图，来源：[ArXiv 论文]

TinyML 算法的工作机制与传统机器学习模型几乎完全相同，通常在用户计算机或云中完成模型的训练。训练后处理是 TinyML 真正发挥作用之处，通常称为“深度压缩”（deep compression）。

TinyML如何构建智能物联网设备

在微控制器上部署并运行 TensorFlow 模型，需要三个步骤：

第一步生成小型 TensorFlow 模型。

Keras

Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。这里我们使用Keras构建并训练一个TensorFlow模型。

第二步使用 TensorFlow Lite 转换器转换为 TensorFlow Lite 模型。

TensorFlow Lite

TensorFlow Lite 是 TensorFlow 移动和嵌入式设备轻量级解决方案。使用 TensorFlow Lite Converter 可以将 TensorFlow 模型转换为高效的 compressed flat buffer格式。并且支持将 32 位浮点数转换为更高效的 8 位整数进行量化以降低对算力的要求。

第三步使用 C++ 库在设备上进行推断并处理结果。

TensorFlow Lite Micro

TensorFlow Lite Micro 是 TensorFlow Lite 针对 AIOT 的轻量级 AI 引擎，用于在微控制器和其他资源受限的设备上运行机器学习模型。

TinyML的特点与重要性

Characteristics and importance of TinyML

TinyML的出现，是为了更好的缓解边缘ML和云端ML中，无法突破的多种问题，包括数据隐私、网络带宽、时间延迟、可靠性和能源效率。

数据隐私：

大量的最终用户非常在意数据隐私，在数据开放与共享方面保持谨慎态度。很多用户不愿意将自己的数据交由第三方云平台和边缘服务提供商，进行存储和管理。很多用户倾向于定义清晰的“本地”物理边界，以保存其关键的生产和运营数据。TinyML尝试在物联网设备上，直接处理和分析受限的敏感数据，保护了数据隐私。　

网络带宽：

很多物联网设备通过窄带物联网NB-IoT或者其他低功耗广域物联网通信协议与网络通信，带宽和数据传输能力极为有限。这些设备有强烈的在本地处理数据的需求，以减少数据的传输，降低网络带宽和传输功耗的压力，避免在终端和边缘设备之间形成带宽瓶颈，影响整套物联网解决方案的性能。

时间延迟：

随着5G等技术的发展，海量物联网设备将被部署，很多应用场景都对时间延迟非常敏感，希望数据可以被实时传输。TinyML通过将某些机器学习任务转移到设备本身，来进一步减少网络延迟的可能性。　　

可靠性：

在偏远地区、海上平台、空间站、极端环境的应用中，网络通信有可能无法保证始终覆盖。因此在这些物联网设备中，具备机器学习能力是一种必要功能。TinyML可以将某些边缘和云端中的机器学习能力移植到本地，提升可靠性。

能源效率：

许多物联网设备都是电池供电，对于功耗的要求很高。通过极低功耗TinyML的数据分析，减少网络传输的数据量，可以在一定程度上，节约物联网终端中的电量消耗。

因为具备解决多种问题的潜力，有望突破成本、带宽和功耗的限制，因此一经提出，TinyML就获得了广泛关注，并被赋予了较高期待。

TinyML的应用

Working mechanism of TinyML

TinyML的机器学习用例。图片来源：NXP

TinyML 都可能以某种身份成为您日常生活的一部分。

TinyML 的应用包括：

关键字发现

物体识别和分类

手势识别

音频检测

机器监控

列举两大事例：

1）车载应用

Swim.AI在实时数据传输的过程中使用TinyML，通过有效提升传感器中对于实时交通数据的智能化处理能力，减少了乘客的等候时间、交通拥堵的概率、改善汽车的排放并提升乘车安全。

2）智能工厂

在制造业中，TinyML可以通过启用实时决策，减少由于设备故障而导致的非计划性停机。它可以根据设备状况提醒工人必要时进行预防性维护。

分享内容

机器学习解决了什么问题？

传统机器学习与现在机器学习技术区别

以及案例分析

TinyML技术原理与应用分享

分享嘉宾

✦

欧阳军 Light

某工业自动化软件公司任职技术总监

曾在通信企业，软件公司，互联网公司等不同行业长期工作于技术研发岗位，积累了大量不同的项目经验，涵盖硬件，软件，互联网，具备全栈的技术整合能力。掌握多种主流编程语言，包括C++，C#，JS，Python。有过多种MCU开发经验，熟悉PCB和FPGA设计。平时兴趣广泛，保持对新技术的关注，也乐于在圈内与朋友分享技术经验。