计算机视觉与AI实验箱是一款面向人工智能专业,机器人工程专业,机电专业,自动化专业及其他新工科专业,用于支撑本科专业核心课程,专业必修课程,跨专业选修课程学生实验环节的一款平台,同时可以作为创新与竞赛平台使用,参加全国性科技竞赛。计算机视觉与AI实验箱是一款专注于视觉与AI技术的产品,聚焦数字图像处理技术,计算机视觉技术,机器学习技术,深度学习技术,采用理论与实践相结合的方式,从通识概念理解,到算法研究,软件功能实现,实验操作几个方面,帮助学生掌握相关软硬件知识内容。并结合一系列综合实践案例,使学生了解相关技术在生活实际与产业实践方面的应用。
实验箱采用计算机视觉,AI,与机械臂控制技术相结合的方式,实现诸如物体识别分拣,人脸跟踪等功能,摄像头实时采集图像,经过实验箱内搭载的视觉与AI处理器计算,为机械臂与赋予视觉和智能能力,平台提供了成熟稳定的人工智能与机械自动化控制硬件,套件涵盖了机器学习、深度学习、电子控制等技术,同时配套了功能强大的实训软件、丰富的教学课程资源,助力高校人工智能与自动化控制技术人才培养。
(3)软件功能示例
AI计算机视觉机械臂控制、物块分拣:基于opencv颜色识别+机械臂控制为一体的颜色识别、物块分拣,基于opencv框架识别不同颜色的物块,在终端进行显示,通过机械臂对物块进行识别抓取,并将不同颜色的物块分开放置。

基于AI视觉的智能考勤:使用tensorflow和keras搭建机器学习神经网络模型,利用opecv进行图像处理,使用pyqt5制作智能化的考勤界面,可以在考勤界面上进行人脸录入,考勤打卡。

年龄性别人脸特征点综合检测:基于深度学习模型和openvino推理框架,实现综合检测。

仿真联动:matplotlib对机械臂建立简单的模型,来实现机械臂的逆向运动学模拟。

课程以终端互动体验、关键技术分解和实战案例为导向,进行人工智能能力递进教学,通过代码编程学习进行基本编程能力教学,通过丰富的应用项目实践学习进行综合编程能力教学,由浅入深对学生能力结构进行培养。
人工智能与计算机视觉综合实验 |
||
课次 |
课程内容 |
学时 |
课1次 |
实验箱上手指南 |
2 |
课2次 |
Python语法 |
2 |
课3次 |
机械臂运动学 |
2 |
课4次 |
机械臂运动控制 |
2 |
课5次 |
物块分拣 |
2 |
课6次 |
二维码排序 |
2 |
课7次 |
水果识别分类 |
2 |
课8次 |
目标跟踪 |
2 |
课9次 |
口罩识别 |
2 |
课10次 |
人脸考勤 |
2 |
课11次 |
人工智能技术 |
2 |
课12次 |
Openvino与计算棒的使用 |
2 |
课13次 |
深度学习应用 |
2 |
课14次 |
Matplotlib仿真联动 |
2 |
课15次 |
ROS操作系统入门 |
2 |
第16次 |
ROS仿真联动 |
2 |

