大数跨境
0
0

新品升级/人工智能视觉与语音实验箱

新品升级/人工智能视觉与语音实验箱 博创尚和
2022-04-22
2
导读:(1)产品简介人工智能视觉与语音实验箱是一款专注于视觉、语音、AI技术的产品,聚焦数字图像处理技术、计算机视

(1)产品简介

人工智能视觉与语音实验箱是一款专注于视觉、语音、AI技术的产品,聚焦数字图像处理技术、计算机视觉技术、机器学习技术、深度学习技术语音交互技术,采用理论与实践相结合的方式,从通识概念理解,到算法研究,软件功能实现,实验操作等多个方面帮助学生掌握相关软硬件知识内容。通过一系列综合实践案例,使学生了解相关技术在生活实际与产业实践方面的应用,助力高校人工智能与自动化控制技术的人才培养。

(2)产品特点

  • 整体采用模块化分离式设计,简易搭建即可快速进入实验状态,实验完毕,便捷收纳至实验箱内,减少教师对实验器材的管理难度。

  • 配置系统级控制器和深度学习处理器,可进行多种人工智能视觉、语音应用的开发,可实现边缘深度神经网络(DNN)推理应用的快速原型设计、验证和部署;

  • 具有多种实验形态,不受场地、基础环境限制;

  • 配置详尽的实验指导书和丰富的实验案例;

  • 配置了多种人工智能深度学习框架,包括openvino,PyTorch,Tensorflow,PaddlePaddle等;

  • 集成了人工智能计算机视觉与语音技术+ROS机器人操作系统+机械臂控制技术;

  • 支持ROS机器人操作系统的应用和开发,配置STDR仿真联动技术;

(3)适用领域

  • 作为人工智能、机器人工程等新工科专业的专业核心课程,专业必修课程,跨专业选修课的课程教具和实验器材;

  • 作为工训中心、双创学院、产业学院的创新实践应用平台;

  • 作为智能分拣等比赛项目的基础参赛套件;

  • 作为人工智能、机器人工程相关专业的课程设计或毕业设计平台;

  • 作为小型视觉分拣工作站使用;

  • 供研究者用于验证理论算法、验证学术论文的结论;

(4)平台特色

  • 全面的计算机视觉与AI教学内容
从Python编程语言基础开始,到数字图像处理的基础知识,各类机器视觉算法原理与实现,机器学习算法原理与实现,深度学习算法离在线教学,各类AI框架了解与使用,模型设计与优化,视觉与机械臂软硬结合,综合创新案例等,由浅入深,由模块到综合,课程内容贯穿大二到高年级,非常全面。
  • 丰富的语音实验案例
利用离线语音唤醒、离线命令词识别、语音合成与播报、智能问答等技术,结合一系列综合实践案例,满足新工科相关专业在人机自然交互方面的教学与实训需求。
  • 富有趣味性的创新案例
设计了一系列创新综合案例,如人脸考勤系统,口罩识别,物料分拣,远程交互,垃圾分类语音助手等实验,学生在锻炼了编程能力的同时,也收获了快乐,更有动力学习新的知识。
  • 与应用高度结合
介绍一系列在工业与商业应用的落地案例,在开源AI框架基础上进行深度学习模型优化与裁剪,使用商业现场应用较多的openvino框架,可进行深度学习推理。
  • 机械臂控制精度高
机械臂采用的DDR机器人结构、步进电机和减速机执行器,机械臂有振动小、结构刚度高、机械传动损耗小、响应速度快、可靠性高等优点。能够更好的支持用户在机械臂运动学、机械臂定点抓取、图像引导视觉抓取等方面进行深入实验和开展研究。
  • 仿真联动
设计了ROS系统下的STDR仿真交互,在实物上进行实验,可在仿真系统内设置应用场景进行联动,具有独特的实验教学作用。

(5)软件功能示例

AI计算机视觉机械臂控制、物块分拣:基于OpenCV+机械臂控制为一体的颜色识别、物块分拣,物块堆叠,首先使用OpenCV对桌面上放置的物料进行颜色识别,获取不同颜色的物料在OpenCV图像轮廓中的坐标,然后通过坐标变换和机械臂逆向运动学推导计算出机械臂要成功抓取到物料所需要转动的角度,计算出结果后,控制机械臂对物料进行抓取,堆叠放置。



基于深度学习的水果识别与抓取本实验帮助学生学习如何从零开始开发自己的深度学习应用,包括环境配置、制作数据集、模型训练、模型部署,主要基于YoloV5目标检测和pytorch深度学习框架。


基于AI视觉的智能考勤:使用tensorflow和keras搭建机器学习神经网络模型,利用OpenCV进行图像处理,使用pyqt5制作智能化的考勤界面,可以在考勤界面上进行人脸录入,考勤打卡。


年龄性别人脸特征点综合检测:基于深度学习模型和openvino推理框架,实现综合检测。

机械臂运动学仿真:通过matplotlib对机械臂建立简单的模型,来实现机械臂的逆向运动学模拟。


语音、视觉与STDR仿真联动:将语音识别及OpenCV手势识别和ROS中的STDR的自动导航仿真相结合,通过语音指令和数字手势来控制ros仿真小车在包含多个房间的地图中进行自动导航;


语音交互功能:可以实现语音查询天气、温度、日常问候、通用型知识百科,语音控制机械臂,语音分拣物料,垃圾分类语音助手等功能。

课程设置示例

开课年级:大二-大四

课程以终端互动体验、关键技术分解和实战案例为导向,进行人工智能能力递进教学,通过代码编程学习进行基本编程能力教学,通过丰富的应用项目实践学习进行综合编程能力教学,由浅入深对学生能力结构进行培养。


工智能与计算机视觉综合实验(32学时)

课次

课程内容

学时

第1次

实验箱上手指南

2

第2次

Python入门

2

第3次

机械臂运动学

2

第4次

机械臂运动控制

2

第5次

图像处理与机器视觉

2

第6次

人工智能技术

2

第7次

机器学习与模式识别

2

第8次

水果识别分类

2

第9次

深度学习

2

第10次

人脸考勤

2

第11次

深度学习应用

2

第12次

人脸性别年龄特征点检测

2

第13次

智能控制

2

第14次

语音交互

2

第15次

ROS操作系统入门

2

第16次

ROS仿真联动

2


【声明】内容源于网络
0
0
博创尚和
提供公司新闻,新产品发布,相关赛事动态,客户案例,相关培训等; 提供科技教育领域相关政策及解决方案等; 提供AI及机器人领域的技术及产业资讯等。
内容 171
粉丝 0
博创尚和 提供公司新闻,新产品发布,相关赛事动态,客户案例,相关培训等; 提供科技教育领域相关政策及解决方案等; 提供AI及机器人领域的技术及产业资讯等。
总阅读22
粉丝0
内容171