本系统服务于某音乐院校专业教学虚拟仿真实验室建设，以乐器的音源采集、虚拟仿真实验教学平台为研究建设内容，基于特定演奏曲目，通过专业录音、录像设备采录乐器、乐人的音视频数据、乐谱数据；同时，借助动作捕捉、虚拟仿真技术采录演奏者（老师/学生）的演奏姿态及动作数据；将数据以乐器为区分，构建统一音源数据库，为多模态乐器训练数据的模拟分析做准备。
图 1音视频数据（老师/学生）
图 2 动捕数据（老师/学生）
系统以钢琴演奏为切入点，完成基于多模态乐器训练数据模拟分析的在线统一教学平台建设，同时可扩展用于二胡、古筝、扬琴等中国乐器。系统采用人工智能、音视频分析、姿态分析等方法，从演奏的音乐属性（音高、音强、音长、音色）和姿态（速度、力度、幅度）等方面给出量化的差异评价及建议，辅助发现学生演奏过程中的不足，提高学生学习乐器演奏的训练效率。 
图 3 音色差异 
图 4 指尖力度差异
系统以提升专业教学质量为目标，将人工智能、数字化等技术融入专业教学中，为学习者提供全新的学习场景，引导、协助教师利用现代科技手段，构造出开放性的教学环境。通过对人体工程学、演奏技术要素、演奏技术技巧进行可视化、数据化分析，加深学生对乐器演奏、作品处理的深层认知，提高教学质量。通过虚拟仿真实验教学将专业教学与信息技术交叉渗透、相互融合，从而实现学科专业教学在新技术、新领域中的拓展。
