让人工智能应用“动”起来—以“传情达意”表情机器人项目的嘴形控制为例

——以“传情达意”表情机器人项目的嘴形控制为例

夏正仁 浙江省温州市教师教育院

陈建林 浙江省温州市瓯海区外国语学校

在中小学阶段实施人工智能教育，主要有体验、应用及实现三种模式。[1]其中教学适用对象最为宽广的是应用模式，即通过API方式来调用人工智能平台提供的特色服务与功能，并将其集成到学生的自主项目中。

●pinpong库与实验器材的约束问题

以人工智能应用为主题的学生自主项目，大多以语音识别、计算机视觉、自然语音处理及机器学习等为主[2]，这些项目主题的开放性与活动的趣味性通常会受到实验室器材的约束。多数教师只提供台式计算机、耳麦等极简设备，学生只能在机房内实施相关的项目活动。显示器与耳机只支持文字、图像及声音等信息的输出，而无法直接满足自动驾驶、智慧停车、智慧门禁等智能系统对机械运动的控制需求。

舵机是较为理想的用于控制智能系统机械运动的元器件，它通常由Arduino、micro:bit及掌控板等开源硬件来驱动。开源硬件是通过数字输出引脚来实现与舵机连接，并通过程序代码实现驱动控制。除了舵机之外，开源硬件还可通过自带的数字或模拟引脚来连接各种传感器、LED灯及屏幕等各种元器件，可以用来搭建较复杂的智能系统模型，实现多模态的互动，以增强人工智能应用的乐趣。学生只要掌握开源硬件的一般知识，并具备对其编程的能力，就可以完成自主项目任务。但由于开源硬件的类型繁多、适用的编程语言复杂，教师和学生都要花费较多的时间来学习与之相关的知识，才能解决项目实施中可能会出现的硬件兼容及编程等问题。这种要求既推高了人工智能教育对师资的要求，也影响了其在中小学阶段的普及与发展。于是，用技术来解决开源硬件编程过难问题， 也就呼之即出。

pinpong库正是在该背景下诞生的技术产物，它是一个基于Firmata协议开发的Python硬件控制库。目前，pinpong库不仅支持各种开源硬件，还支持虚谷号、树莓派和拿铁熊猫等卡片式计算机。有了pinpong库，开发者不再被繁杂的硬件型号束缚，可以直接运用Python语言对各种开源硬件进行编程。

●pinpong库与开源硬件的应用实例

“传情达意”表情机器人是一个以计算机视觉应用为主题的学生自主项目，嘴形控制是机器人实现表情表达的一项关键功能，其基本原理是控制者通过摄像头来向表情机器人传递自己的嘴形信息， 从而实现机器人的嘴形能与控制者的嘴形一起实时变化，实现张嘴、闭嘴等基本活动。本文以此为例， 来探讨人工智能教育应用pinpong 库与开源硬件的相关知识。

1.技术实现方案

本实例分为传感和驱动两部分。传感部分的实现，主要是由P C 机来捕获摄像头的人脸图片，并经由百度A I开放平台的API方式，返回如图1所示的人脸轮廓信息的150 个关键点分布数据，并获取嘴巴的张合度判断点（landmark67和landmark70）。驱动部分，就是通过两个数据参数来计算嘴巴的张合大小，并将角度值传递给舵机，以驱动舵机旋转适当的角度。

图1 获取嘴巴的张合度判断点

2.实验器材需求

本技术方案的实验器材需求如表1所示。

3.搭建系统模型

（1）微型舵机与DFRDUINO 连线图（如图2）

图2 微型舵机与DFRDUINO装配图

（2）机器人嘴形装配（如图3）

图3 机器人仿真嘴形装配图

（3）简易系统模型整体组装（如图4）

图4 简易系统模型组装效果图

4.架设开发环境

（1）安装pinpong库

使用“pip install pinpong” 命令来安装pingpong库，并通过“pinpong”命令来检测是否安装成功。

（2）安装python-opencv库和baidu-aip库

python-opencv库用来控制 摄像头拍摄人脸图片，从而传输到百度AI开放平台进行识别。baidu- aip库是百度AI开放平台提供给用户进行人工智能识别的python API。其安装命令为“pip install python-opencv baidu-aip”。

5.代码编写（如表2）

●pinpong库在人工智能应用中的展望

从上述实例可知，p i npong 库的出现为学生搭建复杂智能系统模型提供了新的途径，并简化了对开源硬件的编程过程，使得学生可以快速地实现更有创意的项目，进而激发参与项目式学习的成就感。

p i np o n g库的功能较为强大，它支持Python直接读取红外线、超声波及温湿度等传感器所获取的信息，支持近场感应通信（NFC），从而实现智能系统对周边环境的实时感知。它支持舵机、LED灯带等输出设备，从而让智能系统具备多模态的互动应用形式。有了开源硬件及p i npong库的支持，教师可以创设更为逼真的项目式教学情境，设计较为复杂的生活问题，学生则可以根据自身对问题的理解而提出项目任务及其解决目标，并根据实验室提供的条件设计活动方案。在此情形下，人工智能应用的项目主题不再单一，智能系统搭建方案不再简陋，项目式学习空间也不再仅局限于计算机机房，信息技术学科的核心素养必将能够得到更好的落实。

参考文献：

[1]樊磊.中小学人工智能课程的设计与实施建议[J].中小学数字化教学，2020(09):23. [2]杨念，陈聪.浅谈高校人工智能实验室建设的研究[J].电子制作，2019(18):67-68.

本文来源：《中国信息技术教育》