如何让基于Arm的边缘端ML更轻松？Google TFLite Micro了解一下- 大数跨境

首页

如何让基于Arm的边缘端ML更轻松？Google TFLite Micro了解一下

安谋科技

2019-10-18

导读：今年5月的Google I/O上，Google宣布他们正在与Arm合作开发TensorFlow Lite Micro，而uTensor（基于Arm Mbed和TensorFlow 的推理库）正在成为该

今年5月的Google I/O上，Google宣布他们正在与Arm合作开发TensorFlow Lite Micro，而uTensor（基于Arm Mbed和TensorFlow 的推理库）正在成为该新项目的一部分。

从事ML开发人员可能会知道TensorFlow Lite是一个开源的深度学习框架，用于以低延迟进行设备上ML推理。其新的同级产品TensorFlow Lite Micro（简称为TF Lite Micro）将效率提高到了另一个水平，针对的是只有千字节内存的微控制器和其他设备。

如果您对嵌入式机器学习感兴趣，或者只是对技术领域有所了解，那么您很可能已经看到Google的Pete Warden在发布会上宣布了该项目的启动。在TensorFlow开发者峰会上，Pete演示了在基于Arm Cortex-M4的开发板上运行的框架，并成功处理了简单的语音关键字识别。

那么，为什么这个项目在未来会改变游戏规则呢？因为Arm和Google致力于在注重功耗的环境中部署Edge ML变得更加容易，将uTensor添加到项目中的一个好处是，它具有针对优化内核（例如Arm的CMSIS-NN）和离散加速器的可扩展性，这有助于神经网络在Arm Cortex-M MCU上更快、更节能地运行。

转移到边缘

近年来，随着功能从云到边缘设备的迁移越来越多，设备上推理已越来越受到关注。Edge ML的优点已得到充分证明：可靠性；性能稳定，无需依赖稳定的互联网连接；减少了延迟，因为不需要数据来回传输到云中；同时还有隐私权，因为当数据停留在设备上时，其风险较小。

但是，即使推断是基于云的，设备也倾向于依靠基于边缘的ML（通常依赖于小型、超高效的处理器，例如Cortex-M）来唤醒系统的其余部分。Pete用于演示此新功能的关键字发现是一个很好的例子。通过使主系统进入睡眠状态并保持常亮元件的功率要求极低，嵌入式设备可以达到提供出色性能和电池寿命所需的效率。

开源成功

关于TFLite Micro的另一点值得注意的是，就像Arm自己的Arm NN一样，它是开源的，这意味着您可以自定义示例代码，甚至可以根据需要训练自己的模型。（虽然TFLite Micro是Cortex-M的首选框架，但Arm NN在现有的神经网络框架与省电的Arm Cortex-A CPU，Arm Mali GPU，Arm Machine Learning处理器和其他第三方IP之间架起了桥梁。）

该项目仍处于起步阶段，但是随着越来越多的ML走向边缘，这种开源方法将变得越来越重要。

完美的未来

曾经限制“微小”边缘ML的技术挑战正在迅速消失。Arm Helium的最新发布——Armv8.1-M体系结构的新矢量扩展，用于未来的Cortex-M处理器——对于小型嵌入式设备的开发人员来说是个好消息。与现有的Armv8-M实施方案相比，它将使ML功能的性能提高15倍，使信号处理功能的性能提高5倍。

这些设备中计算能力的增强使开发人员能够在源头编写ML应用程序以进行决策，从而在降低网络能耗，延迟和带宽使用量的同时增强了数据安全性。

随着我们迈向一个亿万设备互联的世界，基于Cortex-M的微控制器（只需几毫瓦的功率即可提供设备上的智能）将蓄势待发，推动边缘革命。