虚拟现实技术在音乐教学中的应用研究——以小提琴教学为例

虚拟现实技术（Virtual Reality，以下简称为 VR）是近几年活跃在医学、航天、工业、游戏等多个领域的高科技仿真技术。它指的是人们可以通过交互设备，与计算机所模拟的虚拟环境中的事物进行交互，产生进入真实世界的感觉。这一技术出现在上世纪 60 年代，但直到 90 年代初才开始发展。随着硬件设备性能的提高，近年来在教育领域得到了更广泛的应用。虚拟现实技术可以通过不断变化的新颖环境和切实的体验感，帮助学生创造终身学习的条件，提高学生的学习兴趣和学习效果，在医学、军事航天、室内建筑等领域也具有非常重要的实际意义。

器乐教学是音乐教学的一个重要组成部分，有助于发展人的音乐能力和审美能力。传统的器乐教学，特别是在小提琴教学中，存在一个最大的问题就是老师难找、好老师更难找。就算找到好老师，昂贵的课时费也可能会使学生和家长望而却步。近年来，虚拟现实技术在音乐教育领域有了积极的尝试和突破，它营造了“自主学习”的环境，由传统的“以教促学”的学习方式代之为学习者通过自身与信息环境的相互作用来得到知识、技能的新型学习方式。这在很大程度上可以改善诸如乐器和课费昂贵、教师稀缺、设施匮乏等问题，使传统的音乐教育变得更加多元化。在学前音乐教育课堂、中小学音乐教学课堂和社会上各类音乐教育机构中，都可以通过虚拟现实智能设备完成沉浸式交互体验。这不仅可以提高教师的教学质量和效率，还有助于学生理解音乐的要素，巩固理论知识。

本文以当今国内外虚拟现实技术在音乐教学中应用的相关研究成果为基础，立足于虚拟现实工具发展的实际情况，使用文献分析法、案例分析法以及问卷调查法，对虚拟现实技术在音乐教学和小提琴教学中的应用情况进行考察和分析，对虚拟现实技术在音乐教学中应用局限性和展望等问题进行探究。研究发现，虚拟现实技术在小提琴教学中的应用，不仅可以提升课堂的趣味性和体验感，增强学生学习音乐的驱动力，也可以培养学生对音乐的反应能力和内在乐感，提高学习效率。

关键词

虚拟现实技术；音乐教学；小提琴教学

绪论

第一节 研究背景和意义

一、研究背景

（一）虚拟现实技术对学习的促进机制

众所周知，虚拟现实技术具有空间感强、环境新颖等特点。其中，新颖性一直是热门的研究话题。在日常情况下，很多事物都可以被当成是“新颖”刺激，如新的字体、新的声音、新的图片或是进入一个全新的环境（空间的新颖）。有研究者做过一组实验，在学习单词之前，向学习者展示两组与单词描述相对应的图片。一组是新颖的，以前没见过的场景，另一组是熟悉的场景。结果发现，与熟悉的场景相比，接触新颖的场景可以提高对单词的记忆力①。

当你探索一个新的地方时，你必须通过未知的区域，并记住地标才能找到回来的路。因此，能够快速地学会并熟记在哪里可以预见危险以及在哪里可以找到奖励，对于生存至关重要。一些理论认为，为了促进学习，新颖性会引发学习信号。探索新奇的环境，可以提高人和动物的学习能力和记忆力②。

图 0-1 展示了神经科学家 Lisman 提出的空间新颖性促进人脑学习的推定机制。空间新颖性会激活海马体，同时将新颖信号传递给伏隔核，伏隔核又作用于黑质和腹侧被盖区，从而激活多巴胺的分泌，形成一种奖励的循环，由此完成长期记忆的转化。接触新的空间可以刺激大脑为学习做好准备。

相关模型表明，新颖性会在海马体中引起与学习模式相关的振荡状态。通过触发与可塑性相关的蛋白质的合成，新奇事物对学习和记忆的有益影响可以持续数十分钟，甚至当回到熟悉环境后也可以继续保持。

根据 Wiener 等人的研究，人们在真实或虚拟环境中的导航是基于三个互补的机制：

（1）关于空间点的知识，如地标或目的地；（2）关于通往目的地的路径知识；（3）关于环境的综合知识，即认知图式的知识。关于空间的感知和认知，特别是与环境导航相关的空间感知和认知，依赖于多模态信息①，而多模态信息可以在不增加大脑额外工作量的情况下增强大脑认知水平②③。

在日常生活中，当人们在探索未知环境时，无论这个环境是真实还是虚拟，都会获得“在线”认知映射。一项对行为、神经成像和电生理学研究的综述表明，海马体中的定位细胞提供了一种快速的联想记忆，将目标和环境联系起来，利用三维环境，引导我们到达一个理想的目的地④。此外，前后线索对强化记忆也至关重要⑤。沉浸和交互式虚拟现实技术越来越多地能够体现出个人在社会和自然环境中的存在感。

在虚拟现实环境中，当物体主动发出声音时，参与者会更多地关注听觉方面。对于听觉通道，科学文献中经常使用“auralization”一词来指代虚拟环境中的空间音频渲染⑥。Bormann 等人的研究表明⑦，空间音频技术可以引导体验者的注意力，增强 VR 体验的现实性，并对学习效率产生积极影响。在 Riva 等人的研究中，事物和情感之间是存在循环互动的，人们将虚拟现实视为情感媒介⑧，不仅能够与情感状态互动⑨还可以和记忆过程互动⑩。音乐能唤起强烈的情感，也能参与形成与特定环境、音乐类型或乐曲相关的信息记忆①。音乐对我们情绪和认知系统的影响也可以通过效价评级来调节②。基于这些原因，情境记忆与音乐内容之间的情感互动使得 VR 成为一种经济有效的音乐学习工具。音乐学习中的识谱、节奏学习等，都可以在 VR 技术所带来的新颖环境中完成。因此虚拟现实技术可以在一定程度上促进我们的音乐学习。

（二）教育信息化的发展

2012 年，教育部发布了《教育信息化十年发展规划（2011—2020 年）》。《规划纲要》中明确指出“信息技术对教育发展具有革命性影响”，特别是“以教育信息化带动教育现代化”的发展思路，为我国教育信息化在过去十年里的发展提供了重要方向③。

2016 年，教育部印发《教育信息化“十三五”规划》。《规划》指出，要依托信息技术营造信息化教学环境，促进教学理念、教学模式和教学内容改革，推进信息技术在日常教学中的深入、广泛应用，适应信息时代对培养高素质人才的需求。这一规划促进了全国首家“基础教育 VR 教学示范校”——培新小学的出现，对于高科技设备走进中小学课堂产生了深远的影响④。

2017 年，教育部办公厅发布了《关于 2017-2020 年开展示范性虚拟仿真实验教学项目建设的通知》，这一通知的发布和落实极大地提高了教学质量和育人水平，促进了音乐与科技相融合的新兴技术的发展，推动信息技术与高等教育实验教学的深度融合，对本研究的方向和内容也有着举足轻重的影响⑤。

2018 年，教育部印发《教育信息化 2.0 行动计划》。文件指出，教育信息化 2.0 行动计划是在历史成就基础上实现新跨越的内在需求，是顺应智能环境下教育发展的必然选择，是充分激发信息技术革命性影响的关键举措，是加快实现教育现代化的有效途径⑥。

2020 年，《关于全面加强和改进新时代学校美育工作的意见》提出加快艺术学科创新发展，树立学科融合理念，有机整合相关学科的美育内容，大力开展以美育为主题的跨学科教育教学和课外校外实践活动⑦。

以上教育部关于教育信息化政策的发布对于本研究的选题有着深远而重要的影响，为本文的研究的思路奠定了坚实的理论基础和政策基础。

(三)虚拟现实技术在中小学课堂中的应用情况

自2016年《教育信息化“十三五”规划》印发后， VR 技术越来越多地活跃在各地 中小学课堂。通过佩戴高科技眼镜，2D 的板书摇身一变，成了3D 的真实环境，使课堂

内容变得更加丰富并且栩栩如生。

图0-2是2016年9月，北京市培新小学用VR 设备上的一节自然课《草虫的部落》。 学生们表示：  “戴上VR 眼镜后能走到甲虫身边，亲眼看到甲虫生活的环境，更好地了   解甲虫的特点，对这一知识点的印象和记忆也更加深刻。希望以后地理课学习方位、风向等知识时也能使用VR。”

“真神奇!”感叹声从听课的学生中传来，图0-3展示的是2020年9月14日，北 京五中教师苏奇名在一堂物理公开课上，用VR 技术为大家展示《电场线》,使学生清晰地理解到了电场线的方向，沉浸在新奇的体验中。

VR 是教学信息化道路上一个很重要的发动机，它具有传统技术无法比拟的优势， 尤其是在看不见、摸不着的领域。未来，它的发展将更具多元化，能够应用的领域也会 更加广泛。将这一技术应用到音乐教学中，必定会给孩子们带来一种新的视听体验， 一定程度上提高孩子们的音乐素养和音乐鉴赏能力。

二、 研究意义

( 一 )理论意义

国内有关虚拟现实技术在音乐教育方面应用的研究较少，本文通过小提琴教学为 例，可以对虚拟现实技术应用到其他乐器教学尤其是中国民间传统乐器教学起到一定的 借鉴作用。其次，虚拟现实技术可以从教学模式以及思想观念上对音乐教育理论的创新 起到促进作用。第三，本文对音乐教学和虚拟现实技术这两者相结合的教学手段有一个 宏观的概括和介绍，可以促进音乐教师因材施教，制定相应的学习方案，使智能化、信息化、个性化嵌入到学习体系中去。

(二)现实意义

传统的器乐教学方式单一，容易受到教师水平良莠不齐、课时费超过承受能力、上  课距离远交通不便等因素的限制，虚拟乐器的出现为器乐教学带来了新的契机。和网络   教学相比，虚拟现实技术可以做到及时进行反馈，更贴近真实教学。  其次，虚拟现实   技术具有新颖性强、趣味性高、交互真实等特点，应用在音乐教学中能够在一定程度上   提高音乐教师的教学质量和效率。第三，联合国教科文组织的报告提出了“双师型教师” 概念，虚拟现实设备可帮助老师对学生进行评测，处理一些基础性的日常工作，使老师腾出时间来跟学生交流。

第二节 研究方法、研究思路及创新点

一、研究方法

（一）文献分析法

本文第一章通过大量国内外相关文献的检索，系统性地对虚拟现实技术的相关概 念、虚拟现实技术在各国音乐教学中应用的现状研究等内容进行了归纳和整理分类，从 而进行准确的地提炼和深入分析。

（二）案例分析法

本文第二章中，笔者设计了两个小提琴乐曲中的节奏练习课例旨在帮助小提琴学生 体会节奏与律动之间的关系。另外还设计了一个即兴创作案例，主要 目的是培养学生聆 听并感受 VR 乐器库中的不同音色。根据不同的音色创编不同的节奏，最后迁移到小提 琴上，在小提琴上进行即兴创作。参与这两部分课例学生有十名，年龄从 6 岁到 11 岁 不等。所用的硬件设备有 VR 头盔一个（HTC VIVE ），手柄一对，台式电脑一台。前者所用软件设备是“Beat Saber ”，后者所用设备是“VR 家庭教育系列音乐库 ”。

（三）问卷调查法

问卷调查法是 目前社会科学研究中最常用的方法。主要原因在于其方便使用、简单 快捷、信息量大、格式统一、相对经济等。本文第三章中笔者将制定好的调查问卷以现 场填写的形式发放。调查对象为西北工业大学附属中学的高一年级学生及陕西省的一线 教师。通过对问卷结果的统计、分析得出学生和教师对于 VR 技术应用在音乐教学中的看法。

二、研究思路

首先，笔者通过查阅 VR 技术应用在其他音乐教学中的新型模式，如：音乐风格教 学、指挥教学、器乐教学等大量文献，搜集资料，通过对比分析，初拟课题。其次，笔 者通过问卷调查的方式，收集分析西北工业大学附属中学的高一年级学生及陕西省部分 一线音乐教师对于 VR 技术应用在音乐教学中建议和意见，融合小提琴学生的案例分析， 最终确立虚拟现实技术在小提琴教学中的应用，主要分为两点——节奏教学和即兴创作。

最后，笔者通过对 VR 技术在小提琴教学中的案例进行教学分析，以此检验这一设 想的可行性，反思 VR 技术在音乐教学中应用的局限性并对未来发展前景进行展望（如图 0-4 ）。

三、创新点

（一）从选题的角度

VR 技术与教学的结合既是教育信息化时代的新技术产物，也是未来音乐教师可以 选择掌握的新型教学模式。VR 虚拟现实技术在其他学科，如地理、生物、化学等学科中的应用较为广泛，同时也有与之相应的配套的软硬件体系。由于音乐的特殊性，对音乐学科应用的研究成果还较少，因而本选题具有研究价值。

（二）从时代发展的角度

本选题顺应了教育信息化的发展潮流，结合国家对于教育信息化的发展规划，遵循 互联网技术和计算机技术的发展规律、顺应国家新课改的要求，满足国家对于创新型人才培养的期望、符合当今的国情。

（三）从研究结果的角度

VR 虚拟现实技术在教学中的应用对于提高音乐教师的教学能力、学生的应变能力及 全面发展有着重要的价值。同时也有利于中学音乐课教学模式的创新、为中学的音乐教 育模式开辟新的发展前景。

第三节  研究现状

研究人员证实，年轻一代的学生对新媒体和虚拟工具的互动和经验水平很高① 。然 而，当下很多音乐教师对快速变化和发展的信息技术认识不够，无法做到因材施教，将 个性化、智能化、信息化三者嵌入到学习体系中，为不同的学生量身定制符合 自身特点 的学习方案。随着智能教学设备的高速发展和更新换代，虚拟现实技术凭借着带入感强、 及时反馈、贴近真实教学等优势被越来越多地使用在教育教学中，并被广大教育者接受、 应用和推广，这一技术的出现对音乐教学理论与实践创新起到了推动作用。然而出于音 乐教育的特殊性和器乐教学的难操控性，目前国内关于虚拟现实技术在音乐教育领域中应用的文献较少。国内外的研究现状如下：

一、国内研究现状

柏俊杰为了提高音乐知觉的沉浸感，研究了基于“听力—视力—触摸 ”的技术，很 大程度上对音乐感情特征进行感知和分析，进行了知觉、听觉、视觉与手指温度和触觉 相互作用的音乐知觉心理实验②。秦诗乐从理解真实乐器的特性的角度出发，比较虚拟交响乐团的音乐特性和真实乐 器的声音，指出模拟技术的难点③。

李鹤结合扬琴发声的特点,设计了虚拟扬琴系统的性能接口和功能模块，采用 WPF  技术在窗口系统下实现了多点触控性能。根据用户表演的内容和模板库的标准音乐的比 较，提供了重要性的反馈信息①。

张志敏、胡锐等人进行了以虚拟现实技术为基础的音乐教育体系研究，主要介绍钢 琴演奏教学在增强现实技术中的应用，钢琴演奏者可以看到音乐键的输出。通过增强现 实的投影，将正在演奏的音符投射到键盘，使系统对练习者的音频数据和演奏情况进行 更加便捷和迅速的指导②③④。

赵子云等人以编钟为例实现了虚拟音乐教学⑤ 。通过分析传统民乐教学中存在的不 足，结合情境认知理论，探讨了如何将虚拟现实技术应用于民乐教育，并论述了实现这一应用所需的计算机软硬件技术。

孔婷婷创作音乐 VR 游戏《行歌》，通过 Untiy3D 引擎，使用模型制作软件 3DS MAX、 贴图制作软件 BodyPaint 以及图像处理软件 Photoshop，利用 VR 技术构建了一个充满中 国风格的虚拟现实场景。⑥

二、国外研究现状

（一）虚拟现实技术与基础音乐教育

虚拟现实技术由于 自身的特点，应用到教学中时可以解决传统音乐教学中的互动感 低，效率低的问题。在学前和中小学音乐教学课堂中，都可以通过虚拟现实智能设备完 成交互及沉浸式体验。

Gomes 等人介绍了在巴西幼儿园得到应用的增强现实软件，用于教授儿童声音特性 （如音高和响度）。该软件允许儿童操纵与声音关联的虚拟对象，从而学习判断声音的 响度和高低，并给出了可用性测试的结果⑦。

Edoardo Degli Innocenti  等人在一所小学中进行了关于音乐流派识别的 VR 课程实 验。通过移动 VR 设备让学生沉浸在不同音乐风格的表演中（例如古典，乡村，爵士和 摇摆）。结果表明，与采用印刷材料和被动聆听的传统课程相比，将移动 VR 技术与传统教学方法结合使用，可以在主动聆听，注意力等方面改善初等教育中的音乐学习体验⑧。

（二）虚拟现实技术与音乐技能教学

Chow 和 Jonathan 等人探索了使用增强现实技术创建沉浸式体验的方法，利用头戴 式显示器将琐碎复杂的钢琴演奏任务作为游戏步骤呈现给学生，使学生能够直观地监控 自己的练习，提高学习效率①。

Stefania Serafin 等人概述了用于打击乐学习的虚拟软件和技术，并且分析了如何运 用这些技术帮助音乐教育教学的一系列注意事项。针对儿童在 K- 12 阶段中音乐教育受 到预算削减的情况，他们认为虚拟现实可以为孩子提供获取音乐技能的替代方法②。

Evelyn K Orman  等人在研究中，使用了增强的沉浸式 VR 系统来增强乐队指挥的 目 光接触、躯干运动和手势。研究得出使用增强的沉浸式 VR 和头部追踪技术的指挥学生 比不使用虚拟现实技术的学生表现出更大的行为技巧提升③。

（三）虚拟现实技术与小提琴教学

Yin 和 Jun 等人完成了数字小提琴家教系统（DVT ）的设计和硬件实现。将小提琴 音频转录与可视化相结合，利用视频，2D 指板动画，3D 头像动画等不同的可视化模式 帮助初学者更有效地练习和学习。该系统可以提供实时的反馈，在老师不在身边的家庭 环境中显示出很高的实用性，并得到了相当不错的用户体验④。

Fan 和 Ess 等人设计并实现了一种使用深度相机的名为 Air Violin 的虚拟乐器。他们 提出了以身体为中心的徒手交互范例，用户能够以 自发方式通过执行手势进行交互。该 范例采用可穿戴式相机和透视显示器，以实现 3D 空间中的灵活手势交互⑤。

Kusuda, Yoshihiro 概述了小提琴演奏机器人的模型，探讨了有关灵巧性，触觉感应， 执行器的速度控制，手臂、手和手指的协调等问题。这些精细的领域将对未来虚拟现实 设备的发展产生巨大影响⑥。

Rob Hamilton 等人设计了名为“Coretet ”的虚拟提琴，旨在探索真实乐器的演奏手 势到虚拟乐器的转换。“Coretet ”使用虚拟引擎和数据进行构建，能够提供展示传统弦 乐四重奏的网络演奏环境，为音乐家设计灵活而清晰的演奏乐器，通过将乐器转换为虚 拟现实，探索了音乐和表演的可能性⑦。

第一章

虚拟现实技术与音乐教学

作为一种“学习工具 ”，虚拟现实技术已经以各种形式应用于诸多领域，如建筑、 医学、体育等，相关研究也表明音乐家们看到了在虚拟环境中提升表演技能的优势①。

近年来，头戴式显示器的 日益普及，促进了 VR 在音乐方面的各类相关应用程序的 发展，这些应用中以 VR 乐器演奏居多。例如，在虚拟音乐教室中摆放各类乐器，通过 使用手持控制器，与任意一组乐器进行交互。这类音乐教室扮演了 MIDI 控制器和数字 音频工作站（DAW）的角色。有一个叫作“Sound stage VR5 ”的应用，除了交互式 VR 设备，还包括效果和处理器的模块以及用于后期制作的循环录制功能。类似上述的应用 程序还有很多，它们都极大地促进了 VR 乐器的演奏和交互，实现了音乐创作和技能训练等 目的。

学术界也提出了基于 VR 的新型音乐界面。在近年的一项研究② 中，研究人员报告 了 K- 12 音乐教育的现状，并讨论了虚拟现实技术和增强现实技术在 K- 12 音乐教育中应用的新视角。

Hamilton 提 出 了一个抽象的环境，表演者可 以在虚拟现实 中合作创作音乐③ 。 Berthaut 和他的同事④也提出了几个音乐表演的沉浸式界面，他们认为在以增强创造力和 情感体验为主要 目标的领域，交互式 3D 图形、沉浸式显示和空间界面能够发挥的作用仍然有待探索。

多年来，一些 VR 乐器已经慢慢在市面上使用，比如长笛演奏⑤和钢琴虚拟导师系 统⑥ 以及 Orman 等人研究设计的可以提高音乐指挥技能的 VR 学习环境⑦ 。目前，通过视 觉、听觉和触觉反馈技术对传统乐器进行模拟的虚拟现实技术，比较适合用于乐器教学。 但是由于乐器感知中涉及的多感官反馈和感知动作机制较为复杂⑧ , 当前可用的设备如操纵手柄或数据手套还没有办法完全在 VR 中呈现和真实演奏一样的效果。

下文中即将要说到的钢琴教学系统，不仅可以在钢琴键盘上投射动画角色，使孩子 们根据动画演奏正确的音符，还能让他们探索音乐表演的具体特征，如音符或节奏的概 念①。

目前开发的大多数教学应用都使用了比较昂贵的 VR 设备，这使得虚拟现实技术超 出了有些学校和个人的能力承受范围② 。然而， 由于低成本硬件技术的发展和模拟软件 包的可用性，这种限制正在慢慢减少，如在课堂上提供带智能手机的基于卡片的 VR 头 戴设备。这种低成本的解决方案可以很容易地使移动 VR 技术引入到课堂环境中③ , 促 进交互式个性化沉浸式学习体验④。

一些研究者也提供了一部分关于 VR 在小学教育中应用的技术见解，对于创建虚拟房间，有以下简单的经验指导原则，可以为开发者和教学设计者提供参考。

第一，界面要易于理解，不能太大。特别要注意文本字体的大小与对比度，提高可 读性。如对于 VR4EDU 应用程序，可以使用 Woods 等人建议的“Arial ”字体⑤。

第二，屏幕上的常驻信息不能太多，以免视觉信息超载，从而分散听觉信息的注意 力⑥ ; 这个问题对于从未使用过 VR 头盔的儿童来说尤为重要。

第三，灯光控制也是一个重要的问题。与 Khan 和同事在大型壁挂式显示器上引导 视觉注意力的工作类似⑦ , 在 VR 设备中，可以选择类似晴天的 自然光，以唤起儿童户外玩耍的积极感觉。

VR4EDU 是第一个基于 VR 的针对音乐类型识别的学习工具，利用空间学习和沉浸 式聆听来配合小学音乐课程的开展。VR4EDU 还可以扩展到其他主题的音乐学习中。例 如，根据声音产生机制，学习乐器的不同分类（例如，吉他是弦乐器，鼓是膜质乐器等）。 同样的方法可以应用到声音与环境关系的学习上。例如，如何将声音与特定的环境联系 起来，如学校、房子、城市街道。在这种情况下，通过使用个性化的 3D 空间声音渲染来增加沉浸感，可以增强声音与环境之间的联系，从而加深学习印象。在技术方面，可以使用动态的 3D 表演者模型来增加乐器和舞台的真实感和细节。同时，音频体验也在 不断改进，使用更复杂的多轨录音和三维音乐图层，利用新颖的 3D 音频渲染算法优化 个人的听觉体验①②。

研究表明，通过 VR 支持的音乐课程获得了统计上显著的学习改善，音乐教学可以 从这种传统教学方法的改进中获益。此外，对于特殊教育的学生来说，在使用 VR 进行 音乐学习后，完成写作、阅读等注意力要求较高的任务方面，能够取得与同班同学相同 甚至更好的成绩。虚拟现实环境下的学生体验与传统教学活动相比，在感知努力、参与、动机和欣赏方面得到了学生的积极评价。

总之，与采用书面材料和被动聆听的传统课程相比，通过移动 VR 设备让学生沉浸 在不同的音乐风格中，将 VR 技术与传统教学方法结合使用，可以提高学生的注意力， 改善学生音乐的学习体验，培养学生主动聆听的习惯。这一章节我们将详细介绍虚拟现 实技术在指挥教学、钢琴教学、打击乐教学和小提琴教学中的应用情况。

第一节   虚拟现实技术与指挥教学

对于乐队指挥来说，学习必要的非语言技能来指挥和管理乐队成员表演合奏是必不  可少的工作。虚拟现实学习环境（Virtual reality learning environments ，以下简称 VRLE） 为发展这些能力提供了一个独特的环境。眼神交流、躯干运动和指挥手势也是指挥的三  大要素。通过研究发现，使用虚拟现实设备的学生比不使用设备学生的指挥技能有更大  的进步。

沉浸式虚拟现实环境的应用在各个教育学科的教学中变得越来越普遍③ 。在音乐教 育中，研究者们继续探索沉浸式虚拟现实作为治疗音乐表演焦虑的一种手段④ 。此外， Orman 研究了沉浸式虚拟现实环境作为一种手段来提高入门级管乐队指挥的技能⑤⑥。虚 拟现实的成功实现需要环境为用户带来真实感。一些研究人员已经证明，为研究表演音 乐家而开发的沉浸式虚拟现实环境确实能增强现实感体验⑦。

一、虚拟现实技术应用到指挥教学的学科背景

指挥法是指挥与全体乐队成员进行交流的一种非语言手段。音乐指挥家使用肢体语 言、身体动作和眼神交流作为非语言交流的常见形式。提高音乐和音乐教育专业学生的身体和非语言沟通技能是本科和研究生课程的重要组成部分。

许多与音乐教育相关的研究人员试图找出有效的指挥特征和技巧，以提高新指挥的 指挥能力。在多数研究文献中，“眼神交流 ”始终是成功指挥家重要、有效和必要的特 质①。

Yarbrough 认为“眼神交流 ”是优秀指挥的一个特征② 。更多的眼神交流可以促使学 生在任务中有更好的表现③④ 。眼神交流是专家们⑤ 、八年级学生⑥ 、本科生⑦和高中生⑧在 评价中认定的最重要的非语言技能之一。Byo 和 Austin 得出结论，眼神交流有助于增强 其他非言语行为⑨ 。Fredrickson 发现，书面提示的眼神交流增加了新指挥家观看合奏的 时间⑩ 。在最近发表的一项研究中，Silvey and Baumgartner 表明，本科生对眼神交流重 要性的感知显著(p < .05) ，从基础指挥课程开始时的 9.11（满分是 10 ）在课程结束时增 加到 9.95⑪。

二、虚拟现实技术在指挥教学中的应用

鉴于眼神交流的影响和重要性，Orman 研究了沉浸式虚拟现实环境对增加新手指挥 家眼神交流的作用⑫ 。通过体验头戴显示器带来的虚拟环境，预先激发了表演音乐家的 真实感⑬ , 并且考虑到虚拟环境充分的视觉刺激，整体来看可能会增加眼神交流。虽然在本科甚至研究生期间进行现场合奏的机会可能有限，但在虚拟合奏前指挥的时间几乎是无限的。

为了研究这种方法的有效性，2010 年，Orman 将参与者随机分为无虚拟现实接触控 制组和两组虚拟现实组——一组有头部跟踪，另一组没有头部跟踪；测试过程中不包括 音频① 。所有的参与者都用分数来测试他们的指挥。虚拟现实组的参与者戴着一个头戴 显示器，这使他们沉浸在计算机模拟的的环境中。

2016 年 Orman 再次进行后续研究，采用了相同的实验设计② ; 然而，在所有的测试 过程中都会播放音乐作品的录音。在虚拟现实组中工作的人报告说，眼神交流明显比那 些没有体验过虚拟环境的人更频繁。两种研究的结果表明，沉浸在虚拟环境中可以产生 真实感。对两项研究的数据进行对比分析后发现，播放轻快音乐的时候，听音乐的人与不听音乐的人相比，眼神交流明显增多(p < .05)。

在之前的两项研究中，Orman 对新手指挥家使用虚拟现实的效果进行了调查。虚拟 环境被有意地渲染得尽可能的真实，以确定重复暴露在虚拟环境中是否会产生所需的眼 神交流增加的变化。可以说，虚拟环境最吸引人的地方之一是开发者在一个连续的实体 环境中留出虚拟环境的位置。考虑到这种可能性，可以给虚拟现实环境中的新手指挥家 一个增强设计，帮助集中学生的注意力，增加眼神交流，并促进学习可行性研究， 目的是检验使用增强沉浸式虚拟现实学习环境来增加眼神交流和其他非语言行为的有效性。

2017 年，Orman 继续研究了一种沉浸式虚拟学习环境的使用③ , 以增强新管乐队指 挥的非语言指挥技能，如眼神交流、肢体动作和手势。一个接触控制组和两个虚拟现实 试验组参与了一个实时合奏组的前/后测试，期间进行了 8 次实验。结果发现使用具有头 部追踪功能的增强沉浸式虚拟现实学习环境的参与者的得分是没有使用该设备的参与 者的两倍。在选择快节奏的音乐时，带头部追踪器的虚拟现实组参与者在眼神交流、身 体动作和手势方面的收获最大，而在选择慢节奏的音乐时，未带头部追踪器虚拟现实组 的增益最大。

在这个实验中，与现实距离最远的不是那些经历了虚拟现实实验的人，而是以更传 统的方式练习指挥的参与者。他们需要想象整个乐队并在录音中练习指挥，因此他们的 总体得分是最小的。而增强沉浸式虚拟现实学习环境的参与者看到了虚拟的集合，并看到了红色提示方框出现和消失，这无疑提供了一个更现实的环境。

但是，这一技术应用到指挥教学中也存在一定的局限性。第一，必须让演奏者做好 提前准备。通常，指挥家们会使用各种乐谱学习和私人排练的方法来为即将到来的表演做准备。人们也会质疑虚拟现实学习环境小组成员在眼神交流和手势方面的收获，到底 能否转移到其他不同合奏或不同音乐的指挥情境中。其次，在更精细或更复杂的水平上 考虑研究中的相关措施，指挥在给定的时间点调用适合的眼神和手势，取决于整体的需要，那么基于音乐本身变化的需要怎么去界定也是一个值得探讨的问题。

近年来，虚拟现实设备在成本、可用性和易用性方面的障碍有所减少，在传统教育 环境中，该技术的使用也有所增加① 。从过去的研究可以看出，增强沉浸式虚拟现实可 以有效地提高初学者的音乐指挥技能。需要进一步的研究来确定这种增强的程度，以及 头部跟踪器和虚拟提示框的相对作用。如果在一个更大的地理区域的更大研究中，发现 这个研究结果可以被复制，我们就可以设想更多可能应用于音乐教师的技术。此外，未 来的研究应考虑其他类型的合奏，如管弦乐队和合唱团等。研究人员应确定是否可以使 虚拟现实学习环境更具适应性，以便更好地反映真实的合奏指挥环境。未来有助于各种 音乐教学技能发展的虚拟现实环境都有研究的可能性。

第二节   虚拟现实技术与钢琴教学

对于传统的音乐教育特别是器乐教学来说，学生的个人练习起到至关重要的作用。 大部分学生在练习时没有教师指导，所得到的反馈有限，因此经常出现缺乏练琴兴趣和 动力的情况，以至于练习效果不是很理想。虚拟现实技术运用在钢琴教学中的 目标是将 复杂的钢琴练习任务转化为通关游戏，以激发学生的学习动机，提高学生的读谱能力和 音乐素养。这一技术主要依托头戴显示器为载体来设计和实现，使学生能够在视觉上监控 自己的练习，并从中获得游戏的乐趣。

传统的音乐教育侧重于教师辅助个人进行练习。由于时间和经济的限制，大多数学 生每周只有一节课② 。对于初学者来说，这堂课通常持续半个小时，除此之外，一周内 大部分时间都是在没有老师监督的情况下学习乐器。Sanchez 等人指出，在这些无人监 督的练习时间里，学生可能会演奏错误的音符、错误的节奏，或者干脆忘记之前回课时 老师的评语。这些问题都阻碍了学习过程，给老师和学生都带来了挫折。Sanchez 还指 出，很多伴随音乐的发现而来的快乐会在练习时逐渐消散③。

Duckworth 发布报告说，动机和兴趣的缺乏在历史上是一个普遍的问题④ 。Percival等人提出了让个人练习更有益的指导方针，并指出在电脑游戏的伪装下，通过“包装 ” 一个无聊的任务，使这项任务变得更加有趣①。Percival 分享了实现这一 目标的游戏案例  和 自己所做的一些工作。他指出，由于音乐质量的主观性，计算机辅助工具更适合用于技术练习，在这些练习中，演出质量和表演能力可以被客观地测量。

大多数计算机支持的音乐教育工具使用传统的显示方式向用户传递信息。虚拟现实 技术可以在学生和系统之间创建更直接的交互。Azuma 将虚拟现实描述为创造一种环 境，在这种环境中，用户“看到真实世界，并在其上叠加虚拟对象 ”② 。他进一步解释 说，“虚拟对象显示的信息是用户无法用 自己的感觉直接检测到的 ”，“虚拟对象所传 达的信息有助于用户执行现实世界的任务……这一工具使人类更容易完成任务 ”。

由于在线视频教程的广泛普及，现在学习演奏乐器变得更容易了。在虚拟空间中， 感官的结合为学生提供了一个更加身临其境的视觉教室，虚拟现实使偏远地区的学生也 能够拥有接触到世界各地的机会，从而提高学生的学习能力和记忆能力。本节试图通过探索新的音乐教育模式，讨论提高学习者学习体验和动机的方法与实施过程。

一、虚拟现实技术在钢琴教学中的应用

Shacklock 采访一位经验丰富的音乐老师时发现，初学者遇到的主要困难之一是将 乐谱转换成键盘上的实体键③ 。Dirkse 指出，这一基本技能可能需要几个月的时间来培 养④ , 然而大多数复习系统都不能解决学生缺乏兴趣和动力的问题。这个问题对于那些通过学校课程或父母而不是 自己意愿来接触音乐教育的孩子来说尤其重要。

虚拟现实技术被认为是实现上述 目标的合适技术，因为它能够在乐器（键盘）、指 令（音符）和音乐（ 声音）之间创建感知和认知联系。视觉效果和物理按键之间的联系使得用户能够快速演奏特定的曲调，因此有可能改善学习体验并增加动机。

查阅文献发现，很多优秀的计算机音乐教育系统已经被开发出来。其中，钢琴教学 系统包括 Piano Tutor⑤ 、Piano FORTE  ⑥ 、AR Piano Tutor⑦和 Piano AR⑧ 。其他乐器教学方面的应用也已面世① , 特别是小提琴辅导软件 Digital Violin Tutor② , 使用了虚拟现实技 术和可视化概念来创建手指动作和音符之间的认知联系。

视觉反馈的加入可以促进用户的表演水平，提高审美体验。例如，Xiao Xiao 等人 建议将音乐形象化为在物理键盘上行走的动画角色，利用步行——这种人类最基本的身 体节奏，促进音乐与身体之间关系的理解③ 。这种通过将单个键连接成线和序列的可视 化是一种支持音乐学习和思考的有趣方式，有助于将离散的按键转换为连续的钢琴演奏。

LinseyRaymaekersMatthias Weing 等人也提出了增强乐器学习的交互式投影④⑤。 这一技术专注于时间和节奏，可以随时提供反馈，告诉用户手指需要放在什么地方才能 产生特定的音调。这有时也以游戏的形式表现出来，游戏的分数代表正确的时间里敲击 了多少次正确音符。类似的方法也被用在吉他英雄系列游戏和一些基于在线视频的学习 教程中。

Piano Tutor 是由 Dannenberg 等人与两位音乐教师合作开发的⑥ 。该应用程序使用标 准的 MIDI 接 口将钢琴连接到计算机， 以获取演奏数据。MIDI 之所以被选中，是因为 它传递了大量与演奏相关的信息，包括演奏音符的速度、力度，包括踏板使用的信息。 同时，Dannenberg 等人开发了一个专家系统，对用户的表现提供反馈。指令和分数会显 示在用户面前的电脑屏幕上。用户的表现主要根据音高、音长和节奏的准确性来评分。 专家系统不是直接向用户显示所有错误，而是确定最重要的错误，并引导用户逐个改正。

Smoliar 等人开发了 Piano FORTE ，它侧重于音乐的解释而非基本技能的教学⑦ 。他 指出，音乐既不是印在纸上的音符，也不是执行电脑指令的运动技能。音乐是一种艺术 形式，电脑无法教授或分析情感方面的内容。该系统引入了更高级的分析功能，如发音 的准确性和和弦的同步。清晰地描述了每个音符是如何演奏的。例如，断奏表示一个音符与相邻的音符是分开的，而连奏表示音符之间平稳过渡，没有停顿。同步性是指一个和弦中的音符是否同时演奏，相同长度的音符是否均匀演奏。这些特征构成了高级音乐 表演能力的基础。在使用的技术方面，PianoFORT使用了与 Piano Tutor 类似的硬件设 置。

Huang 提出了一个更近期的系统，该系统通过采用快速准确的无标记跟踪来改进 AR Piano Tutor 系统的硬件设置①。视觉界面方面的主要创新是使用虚拟手指，用简单的 圆柱体来表示手的位置和要弹奏的键。

由于 MIDI 是为与输入形式相当灵活的设备（ 如钢琴、合成器和计算机）一起使用 而创建的，所以像小提琴这样的纯模拟乐器不能使用 MIDI 与计算机交互。Digital Violin Tutor 包含一个“转录器 ”模块，能够将模拟音乐信号转换为单个音符② 。反馈是通过将 学生转录的表现与老师转录的表现进行比较而产生的。该软件提供了一个广泛的可视化 阵列：为了激发学生的兴趣和动机，展示给学生 3D 动画角色和指板动画教他们如何定 位。

Barakon和Schmalstieg的 AR Piano Tutor 是基于一个 “ 鱼缸” 的 AR 设置 （PC+monitor+webcam ），其中物理 MIDI 键盘在单个光学标记的帮助下被跟踪③。这就 限制了键盘的允许大小，对于大型钢琴，用户的视图可能不能被完全包含在内。应用程 序用 MIDI 接 口来捕获钢琴按键的顺序和时间。AR 界面提供了实时的视觉反馈，例 如，对应于按下的键或错音和漏音的提示。反之亦然，与和弦对应的键可以在弹奏和弦 之前高亮显示，从而在声音和键盘之间建立起一种联系，继而用手指产生想要的音符。

二、虚拟现实钢琴教学系统人机交互过程

（一） 目标受众

教学对象大多是初学者， 目标是教授音符和基本技能。

（二）兴趣来源

这个系统最重要的 目标是要培养学生的积极性和兴趣，只有这样才能增加练习时 间，从而提高学习效果。普遍方法是使用游戏概念，Percival 等人在音乐以外的领域引 用了几个成功的教育游戏，认为仅仅通过将一项复杂的任务以游戏的形式分步呈现，就 能给用户更多坚持下去的动力④。游戏领域的其他概念也可以改编进去，例如用虚拟“徽章”和“奖杯”来奖励成就°。

(三)硬件设置

硬件设置包括一个电子键盘、 一个带摄像头的头戴显示器和一台计算机。用户头戴 显示器坐在键盘前，键盘通过MIDI 接口连接到计算机，头戴显示器通过USB 接口连接 到计算机。设备前的摄像头捕捉到的视频必须投射到显示器上，以创建增强现实效果。

图1-1 说明了这些硬件组件之间的交互。

(四)仪器的选择

可用于结合真实和虚拟对象，以实现身临其境的体验。存在两种类型的头戴显示器： 光学设备和录像设备。光学设备允许用户看到现实世界并支持虚拟对象显示在半透明屏  上，而录像设备使用摄像头捕捉真实世界的图片，与虚拟对象一起整体显示在一个不透  明屏上。在实时应用中，光学设备因其较低的延迟和更直接的与现实世界对象的交互而 更受欢迎。从各种可用的音乐接口中， MIDI 接口最为适合。它提供丰富、准确的数字  信息，可以直接由计算机使用，而不需要进行模拟输入所需的信号处理。同时， MIDI

也有一个成熟的行业标准。

(五)虚拟现实界面中的交互

创建虚拟现实界面需要四个步骤：  (1)捕获用户可以看到的图像；  (2)分析目标图像； (3)在映像上叠加虚拟对象；  (4)向用户显示合成图像。

在钢琴教学系统中，每个音符都表示为对应键上的线段，其线段的长度表示音符的 持续时间。音符以稳定的节奏接近AR 视图中的键。当音符到达键盘时，按下相应的键。 同样地，当音符的结尾到达键盘时，键应该被释放。线段绘制在增强现实视图中键盘上 方的虚拟层，与此同时，分值跟踪算法会在每个音符被演奏时跟踪书面上的音符，得分显示在临近的音符上方。

音乐乐谱和虚拟音符是从存储的MIDI 文件中加载的。这个MIDI 文件成为确定用 户演奏质量的参考模型。用户要有一个他们想要练习曲目的电子版本，可以通过下载，也可以通过录制导师弹奏的曲目而获得。

MIDI 文件包含每个音符的计时，因为在犯错的情况下保持稳定的节奏是音乐家需 要的技能，系统严格执行这些计时①。然而，用户可以根据自己的能力手动调整乐曲的 速度。用更多的时间来阅读乐谱，可以使一段不熟悉的音乐更容易被理解。慢速练习是提高音乐流畅性的常用技巧2。这个功能鼓励用户遵循有效的学习规律来掌握一段音乐。

还有一种音符学习模式，它在每个音符到达时暂停，并等待用户按下键，然后继续 下一个音符。这消除了用户提前阅读和准备未来音符的压力。通过允许用户一步步地浏览音符，习惯手和手指的动作，慢慢地建立以合适的速度弹奏音符所需的灵活性。

(六)演奏分析和反馈

反馈是非常重要的一个环节，它允许用户从错误中学习，并为未来的练习设定目标。 系统向用户提供关于基本技能的反馈，即音符、音高、音长和节奏，实现这一点的方法  是使用叠加图像来点亮琴键。通过在增强现实视图中对音符可视化进行颜色编码，实时  反馈音符演奏的准确性，如图1-3所示。因为颜色感知前注意，颜色是用于表示这些信  息最合适的视觉属性④。而且颜色不像是大小和形状，不占用额外的屏幕空间。

在演奏测试的最后，会给出最终的反馈，总结有多少音符被弹错或漏掉了。这可以 使用户将反馈与其预期的标准进行比较，为后续的练习设置目标。

三、 虚拟现实技术在钢琴教学中应用的局限性及发展趋势

(一)局限性

从界面设计的角度来评价，有以下几点不足：第一，乐谱的展示让人分心。同时关注书面符号和虚拟音符确实很难做到，许多用 户只是想根据AR 视图中指定的键来弹钢琴，而不是学习阅读音符。 一种可能的解释是， 如果参与者不是学钢琴的学生，可能没有学习读音符的动力，却热衷于学习弹奏乐器。

第二，追上逼近的音符是一件令人生畏的事，而寻找音符和强迫计时的压力有可能 会让学习者错过了更多的音符，这需要详细的测试来进行调查。我们还希望探索其他的 增强现实可视化和用户界面，特别是将书面表示法与虚拟音符结合起来。

从游戏心理学的角度来评价，有以下几点不足：

第一，游戏广度。游戏应该满足多种基本的人类需求，如自尊需求、认知需求、自我实现和超越（帮助他人的需求）①② 。游戏广度可以通过在钢琴练习中给予更多的反馈 来提高，比如表扬、鼓励和纠正、有社会交往（ 结对练习或小组练习）、增加难度级别 （添加时间限制、障碍、随机事件）等。

第二，模仿。游戏应该让玩家不断学习。这一点可以通过对音乐作品的难度进行排

序、增加要求或使用不同类型的视觉提示来实现。

第三，情感影响。提高情感影响的常见方法是视觉和声音效果和奖励（高分榜、虚拟徽章等）。

（二）发展趋势

首先，未来必要的发展包括结合动力学和清晰度等进行演奏分析，这可能最终会集 成到一个专家系统中。第二，更全面的反馈总结将使学习者看清 自身问题，从而使用户 受益。第三，分数跟踪系统也可以继续改进。此外，还需要进行正式的用户研究，以确 定钢琴教学系统的可用性和有效性。比较令人感兴趣的是戴上虚拟现实眼镜与人类钢琴教师使用传统显示器的电脑化教学工具相比，应用效果究竟如何。

通过以上分析得出，国外对于虚拟现实技术在钢琴教学领域已有一些相应的软件设 计与硬件实现。虚拟现实系统应用到钢琴教学中，以游戏的方式出现，不仅培养了学生 对钢琴学习的兴趣，同时激励学生去 自主练习和改进。大量的文献综述也证明了使用头 戴显示器的虚拟现实是向使用者传达乐器演奏技能的可行方式。虚拟现实系统和头戴式 显示器正变得越来越普及，消费者也越来越负担得起，估计不远的未来会有广阔的发展前景。

第三节   虚拟现实技术与打击乐教学

在许多欠发达国家的 K- 12 音乐教育中，经常要削减财政预算，很难达到义务教育 阶段的孩子们人手一件乐器。本文中提出虚拟现实可以为孩子们提供另一种获取音乐技 能的途径。丹麦在一个科学节期间，对 20000 名 K- 12 儿童进行了一项研究。研究表明， 会演奏乐器的孩子在数学或丹麦语等其他科 目上也表现得更好③ 。虽然还不清楚其他课 程中技能的提高是否可以归因于演奏乐器的能力，但音乐训练显示出可以提高认知技 能，如非文字记忆和阅读能力④⑤。

学习演奏乐器是一项具有挑战性的任务，对孩子们来说更是如此。在这一部分中， 笔者首先概述了虚拟现实打击乐器的发展现状，重点介绍了从学术和商业角度教授用户 演奏乐器的应用程序。其次，以促进学习演奏乐器的动机和提高参与度为 目标，对虚拟现实乐器的未来发展提出了一些想法。

一、虚拟现实打击乐器的发展现状

在音乐表达和声音与音乐计算的新接口领域，虚拟现实乐器（Virtual Reality musical Instruments ，VRMIs ）已经经过了几十年的开发和不断完善①② 。用于音乐表达的物理接 口、手势控制和新型接口之间的映射系统以及声音合成算法一直处于发展的前沿，交互 式听觉反馈和新的控制机制已经取得了很大的进展。然而由于大部分乐器依赖于听觉和 触觉的反馈以及与观众的互动，虚拟乐器没有得到更多的关注。另一个可能的原因是， 低成本和便携式可视化设备直到最近 5 年才出现。

研究互动音频和触觉反馈的研究人员称他们的乐器为虚拟现实乐器③ , 定义为软件 模拟或使用声音合成扩展所拓展的乐器④ , 这种乐器还包括一个模拟的可视化组件，使 用头部显示器或其他形式的身临其境的可视化系统⑤。

虚拟现实的研究主要集中在视觉反馈的探索，其他感官起着补充作用。在某些情况 下，专注于视觉领域可以提供一个远离 日常生活的强大视觉体验。Shneiderman 认为， 虚拟现实为那些戴着护 目镜屏蔽现实世界来寻求沉浸体验的人提供了一个生动的选择 ⑥ 。因此，我们不考虑那些使用 2D 投影系统来投影 3D 视觉对象的仪器，而是更侧重于

从表演者的角度来检查 3D 沉浸式可视化。

虽然虚拟乐器的研究和开发历史悠久，在文献中可以找到很多例子，但是虚拟现实 乐器却不是这样。Cadoz ，Luciani 和同事们开发他们的 CORDIS-ANIMA 系统已经很多 年了。这是一个基于物理模型的音频和图像合成的建模和仿真平台⑦ 。据我们所知，该 系统从未在沉浸式虚拟环境中使用过，但它包含了沉浸式多模态乐器的所有元素，包括

听觉、触觉和视觉反馈。

Maki-Patola 和他的同事设计了一个用于创建虚拟现实乐器的软件系统①②。该团队提 出了四个案例研究：虚拟木琴、薄膜、电子琴和空气吉他。Sergi Jorda 讨论了其中所描 述的质量、效率和学习曲线③ 。例如，较低的时空分辨率和延迟会降低学习效率④ 。他们认为，现有的技术可以改善这些缺陷，可使用更灵敏的仪器，扩大设计和演奏的可能性。

虚拟现实接口最重要的特性之一是其可视化的潜力。虚拟现实乐器可以刺激智能的 视觉反馈，这可能有助于用户的表现。而且，这个接口扩展了与物理乐器的交互，其中 视觉反馈直接连接到声音产生机制，例如振动的琴弦。Steven Gelineck 等人提出了几种 基于物理的虚拟样机，如长笛和鼓⑤ 。这些乐器结合了物理模型、3D 可视化和替代传感 技术。表演者将空气吹进塑料管将触发发电机，从而产生 自然的演奏体验，并且可以通 过 3D 可视化看到虚拟长笛。Gelineck 和他的同事们进一步描述了物理模型无法实现的可能性，例如在演奏模拟乐器时改变其尺寸的能力。

类似地，ALMA 项 目中开发的 FM 合成器和虚拟空气吉他分别对电子琴和吉他进行 了声频扩展⑥⑦ , 视觉表现超出了预期的原型。

二、商业虚拟现实技术打击乐器的现状

头戴显示器的迅速发展促进了 VR 和乐器相结合的应用程序的发展。Music Room2  是为 HTC Vive 设计的乐器集合。通过使用 HTC Vive 的手持控制器，该平台可以与一组 有音调和无音调的敲击乐器进行交互。此外，围绕着音乐室的理念是，它充当 MIDI 控

制器，用于任何数字音频工作站（DAW）。

Soundstage VR3 被推广为一种乐器沙箱。与音乐教室类似，Soundstage VR 也与 HTC Vive 兼容，支持房间级的动作跟踪。除了交互式的虚拟现实乐器，沙箱还包括一个带有 效果和处理库的模块化混合链。Soundstage VR 还实现了一个循环和录制阶段，用于后 期制作或其他媒体制作。

“Music Inside ”（室内音乐）是兼容 HTC Vive 和 Oculus Rift（包括互动触摸 Oculus）的音乐游戏，有类似于经典数字音乐游戏“吉他英雄 ”的元素。它向用户展示一个敲击设置，并接收与节奏任务相关的视觉提示，该任务通过与演奏相关的分数来激发用户。

“Audioshield: Block the Beats” (音盾：节奏块)是一款节奏游戏，它将任何歌曲  (或来自数据库的流媒体歌曲)作为参数输入到游戏中。其目的是为了让用户通过敲击 与音乐同步的视觉线索流来保持与所提供的歌曲相关的节奏。 AudioShield 目前与 HTC  Vive 系统兼容。

虽然“Music Inside”和 “Audioshield”并没有明确地作为音乐教育工具来推广，但 它们都促进了节奏技能的训练。 WaveVR6 是一个音乐爱好者的平台，它允许创作者定 制用户体验音乐的方式。在VR 中获得音乐体验的另一款游戏是“Stage Presence” (舞 台呈现)。这款游戏通过个人或乐队在舞台上对着虚拟的人群唱歌来实现。与现有的解 决方案相比，虚拟现实乐器方面还是存在缺憾，然而，它仍然以用户的歌声作为一种乐 器，融入了音乐的表达方式。

敲击式虚拟现实乐器由马林巴琴、钢鼓和钟琴组成，目的更侧重于旋律和节奏表演 的练习。如图1-5所示的虚拟现实鼓模拟器，模拟器是HTC Vive实现的，它的控制器 最像鼓槌。

同样的模拟器也被应用在更大的表演环境中，可以用来治疗舞台恐惧，见图1-6。 该应用程序还没有正式用于教学目的，但已经在几个科学展会和VR 活动中为大量观众 演示过。非正式的观察表明，不同年龄的孩子，从6岁左右就可以很容易地学会如何打 虚拟鼓，因为虚拟鼓有直观的映射和与真实鼓的相似之处，孩子们也会觉得这种体验很 有趣。

但是通过亲身尝试，笔者也发现了两个问题。第一是触觉反馈的质量并不高，这成 为训练一个经验丰富鼓手的重要阻碍。第二是VIVE 控制器非常适合需要手柄来进行操 作的打击类乐器，但不适合无需手柄的乐器，如钢琴、管乐器或弓弦乐器，它们的控制是完全不同的。

这一部分主要介绍了虚拟现实打击乐器领域的概况，讨论了商业和学术应用以及它 们在音乐教育中的潜力，同时也提出了一些基于虚拟现实的应用，肯定了这一技术在打 击乐教学中应用的潜力。众所周知，音乐技能的训练通常是乏味的、重复的，同时也必 不可少地具有着挑战性。笔者相信，虚拟现实技术应用到打击乐领域可以成为训练音乐技能的有效工具。

第四节  虚拟现实技术与小提琴教学

对于初学者学习演奏乐器来说，及时的反馈是至关重要的。然而，由于时间和经济 的限制，大多数业余学习者每周只与老师见一次面，能接受到反馈的次数屈指可数。在 剩下的时间里，他们必须自己练习。在学习者看来，  “练习”仿佛变成了一个消极的词 汇：缺乏反馈的练习会令学习者感到无聊和沮丧，从而导致进步缓慢。这一问题在年龄较小的儿童中更为显著，他们的父母通常也不太精通乐器，缺乏专业的知识来帮助他们。

为了解决这一关键问题， YinJun 等人设计了一个名为数字小提琴导师 (DVT)  的 系 统，用来帮助初学者，特别是年幼的孩子和他们的父母。在缺少真人教师的情况下， DVT  将执行小提琴课程中较基础但又很关键的环节，如帮助小提琴调音，指出学习者的演奏 中的错误，示范正确的演奏等。这是通过结合音频、视频和3D 动画形成一个有效的反 馈回路来实现的(图1-7)。通过利用多模态系统的协同作用， DVT  试图为初学者提供一个有趣的学习环境，增加他们的兴趣。

上面四个图分别代表 (a) 老师演奏的视频；  (b)3D  头像动画；  (c) 可视化学习者游戏中的错误；  (d)2D  指板动画。

DVT 的关键设计目标是为初学者在家练习小提琴提供快速有效的反馈。为了实现 这一 目标，需要一个高精度、高速度的小提琴音频转录系统模块。它能够很好地抵抗噪 音，这种噪音在家用低质量麦克风录制的音频中很常见。其次，为了识别学习者演奏中 的错误，另一个系统模块将转录的乐谱和分数跟教书的演奏进行比较，并将结果通过可 视化的形式呈现给学习者。通过形象化的呈现，让缺乏专业音乐知识的父母能够易于理 解，从而更好地帮助孩子的学习。研究表明，这种结合音频分析和错误可视化是有效的。 最后，整个系统是用现成的硬件实现的——基本上是一台PC 和一台廉价的麦克风—— 这样就可以很容易地在家庭环境中使用。在该软件的用户调研中，系统得到了非常好的 评价。

DVT 相对于现有的初学者教育工具有一些优势，例如教师戏剧的音频或视频录制。 值得注意的是，现有的初学者教育工具的录音不提供任何明确的反馈。没有反馈，初学  者就无法发现自己的错误。即使是最简单的小提琴调音任务，虽然传统的调音口哨声会  在每根弦的正确音高上产生声音，但许多初学者听不出正确的音高和调弦产生的音高之间的差别。差异的可视化大大简化了任务。

DVT 的设计并不是为了取代人类教师。相反，它可以通过提供基本的、有效的反馈，当现实中教师不在身边时，满足初学者的关键需求。除了小提琴，其主要设计也适用于其他弦乐器。

越来越多的人将计算机系统用于辅助音乐教育，钢琴导师是一套完整的钢琴教学体 系。它基于 MIDI 输入执行分数跟踪和错误分析，并利用专家系统进行分析指导。 PianoFORTEI13]是另一种钢琴教学系统，旨在提高学习者的音乐理解能力。它显示了学 习者在乐谱上演奏的进程。这种显示格式假设学习者精通音乐符号的阅读，因此只适合 更高级的学习者，而不适合初学者或几乎没有音乐知识的父母。最近一个叫作“家庭合 奏”的系统，试图通过提供二重奏来提高孩子们练习钢琴的兴趣。它使用记分功能自动生成伴奏，并帮助家长与孩子一起“演奏”MIDI 键盘。

大多数现有的系统，包括上面描述的系统，都是专门用于键盘乐器的，例如钢琴。  他们通常使用 MIDI 键盘输入，绕过了音乐转录的难题。遗憾的是，这种方法不适用于  小提琴等弦乐器：与MIDI 键盘相当的乐器似乎不适用于小提琴，尤其是在家庭环境中。 为了解决这一问题，我们的DVT 系统采用了一种快速准确的音乐转录方法，直接对原  声音乐输入进行处理。与钢琴教师相比， DVT 并不是一套完整的教学体系。它通过提  供有效的视觉反馈来帮助初学儿童和他们的父母。视觉化的反馈对于那些缺乏专业音乐知识的人更容易理解。

DVT 的三个主要功能分别是：  (1)帮助调音；  (2)指出学习者演奏中的错误；

(3)演示正确的示范。在初学者的小提琴课中，这些被认为是最基本，最重要的活动。

转录器可以将学习者的演奏音频输入转录到笔记表中。每个表项对应一个音符，并 带有其音高，响度，开始和持续时间的信息。条目还可以包含有关演奏风格的信息，例如颤音，即音高的间断变化。

绩效评估器通过将抄录音符与乐谱进行比较，找出学习者演奏中的错误。然后将错误可视化，并向学习者提供反馈。

如上图1-8所示，为了执行这些功能， DVT 由几个相互连接的系统模块组成。调音器使用转录器和简单的可视化效果来帮助学习者调小提琴。

动画播放器由乐谱或老师演奏的音符表驱动，通过2D 指板动画和3D 头像动画演 示正确的示范。

DVT 可以接受家庭环境中使用低质量麦克风录制的音频输入。这样的音频输入通 常是嘈杂的。此外，初学者往往会犯各种错误，导致音频信号的图案不规则。这些都会 给转录器的快速，准确响应带来挑战。因此转录器的设计要满足三个目标：准确性，抗 噪声的稳定性和快速响应性。准确性指的是正确的录入，有效地向学习者提供反馈。抗 噪声的稳定性也很重要，因为在家庭环境中用低质量的麦克风录制的声音通常很吵。快速响应是为了避免学习者等待过长时间，反馈要求几乎是瞬时的。

转录器的输入是PCM 编码的声音信号，输出是音符表，其中包含有关音符的音高， 响度，开始时间和持续时间的信息。在每个时间帧中，转录器首先使用FFT 将 PCM 信 号转换到频域。然后将FFT 频谱映射到基于能量的半音频谱，并基于小提琴声音的谐波 结构估计音高和响度。转录器执行检测和估计持续时间，为每个检测到的注释生成注释表的条目。图1-9中的下部路径显示了DVT 中高分辨率音高估计的步骤。

在演奏时，小提琴手会执行手指、手腕和手臂的复杂动作。左手沿着小提琴的琴颈 在不同位置之间移动，手指按弦并控制产生不同音调，同时右臂在琴弦上来回移动琴弓 以产生声音。由于人体解剖结构的复杂性，产生这种协调运动是一项艰巨的任务。从肩 膀到手指尖，每个肢体由许多关节组成，这些关节具有近30个自由度 (dofs), 其中一 些相互依存(图1-10)。为了演奏所需的音符，所有关节必须以协调的方式移动以将指尖放置在琴弦上的预期位置。

合成人类运动的困难引起了人们的浓厚兴趣，最近也有研究者制作吉他和小提琴的 动画°。由于乐器演奏中动作的复杂性，以前的一些研究试图使用复杂的模型(例如神 经网络)②和最小化全局成本函数3来捕捉这种复杂性。

尽管小提琴演奏具有复杂性，但执行的动作范围还是相当有限的， 一个简单的过程 模型可以有效地捕获运动。每个音符在产生声音时都具有左手和手臂的独特姿势。给定 要弹奏的音符的音高，可以确定弹奏该音符的指板位置，即手指和指尖的位置。这种一 对一的关系对于初学者来说足够了，可以通过求解逆运动学 (IK) 来预先计算所有音符 的手部姿势数据库，并在预先计算出的姿势之间进行内插以合成连续运动。右臂的运弓 运动也可以按照上面的方式合成，但是手臂的姿势是动态计算的，并不能预先计算并存 储在数据库中。最后，要在屏幕上渲染3D 图像，手指，手腕和手臂都由骨骼模型上的关节角度参数列表控制。

尽管3D 动画生动有趣，但有时显示指板的图标有时会更有效(图1-11右)。 DVT  中集成了一个2D 指板动画的模块，该模块清楚地演示了手指应在何时，哪个弦以及在 弦上按的位置。在动画过程中，可以更改指板的颜色，并突出显示要播放的音符在指板 上的手指位置，甚至还可以模拟初学者经常使用的小提琴指板。2D 动画和3D 动画音符表同步并同时显示(图1-11)。

第二章

虚拟现实技术在

小提琴教学中的应用研究

第一节   虚拟小提琴教学中的人机交互

一、虚拟小提琴

小提琴属于弓弦乐器，由五个基本结构组成。第一，激励系统：小提琴的琴弓，由 马尾制作而成，对弦进行触发，使弦振动发声。第二，弦振系统：琴弦、系弦板。第三 传导系统：琴马，支撑琴弦的扇形小木片。第四共鸣系统：小提琴琴箱，腔体，用以加 强弦振动的声能扩散，增大音量。第五，调控装置：弦钮，微调，可以改变弦乐器的音 高。当推拉琴弓使弦动起来时，振动会通过琴桥和音柱传递到共鸣板和后部，将振动从 侧面传到背面。在这个过程中，琴桥起到反射器的作用，琴箱作为谐振器，进一步放大 了振动，并将其最终传输到了听众的耳朵。琴身上的音孔也对共振起到辅助和补充的作 用①②③。

虚拟小提琴有拨奏或拉奏两种演奏方法。在拨奏时，声音和振动幅度遵循预定的大 小。在拉奏时，弓触弦发出声音，振动时间和幅度由弓子进行连续控制，当琴弓离开琴 弦后，琴弦也会继续振动一段时间。相应地，音高和音色可以定义为弓和左手手指之间 的变化函数。

每一把小提琴都有一定的音量潜力，其音量大小取决于弦的类型及其张力、琴桥的 类型、弓的质量以及演奏者的技能等等。指法，颤音，弓的速度和压力以及弓在琴桥和 指板末端之间的相对位置都直接影响声音的动态和音调特征④⑤。

这些属性是在虚拟小提琴模型中要模拟的关键参数。音的质量和特性取决于振动 弦、琴身的接收情况以及基本音高的传输程度。琴弦振动时也会产生基音的其他谐波， 从而使音色更加丰富和复杂⑥。

自上世纪二十年代以来，基于虚拟小提琴的电子乐器实验一直在持续进行。虚拟小 提琴通过频率响应的变化，幅度的快速变化，谐波变化，回声和混响效果的变化来改变 乐器的信号，利用一组或多组电磁拾音器或接触式麦克风对声音进行放大，为各种古典 和流行音乐风格服务⑦。

二、虚拟小提琴的人机交互

能投入使用的乐器模型应该满足两个基本原则：一是 良好的音质，二是易于控制。 传统乐器在身体、手势表演活动的输入以及声音传播的输出方面，为人机交互提供了非 常好的范本。小提琴是传统乐器中最精致、最富表现力的乐器之一，因此虚拟小提琴拥有独特的、更复杂的物理界面和丰富的扩声器。

（一） 弓弦控制

小提琴与大多数其他弓弦乐器有着相同的控制特性①②③④。Jensen 提出了充分发挥小 提琴音色和技巧时所必需的一组连续控制参数⑤。Jehan 在他的研究中使用了基于音色的 建模和控制技术以及 Jensen 的小提琴硬件，而感知综合的部分则来 自控制装置的计算信 号⑥ 。Goudeseune 利用一个“SpacePad ”运动跟踪器来测量小提琴的位置和方向，利用 磁性传感器测量琴弓和小提琴相对位置，这些传感器进一步用于声音输出的空间化⑦ 。 Trueman 和 Cook 构建了一种乐器，它主要包括小提琴物理演奏界面和空间滤波音频传 播器⑧ 。该系统内部有一个传感器弓，一个传感器指板， 弓子的传感器海绵阵列以及和 一个 12 通道球形扬声器阵列，将小提琴控制参数如音高、 弓速、力度、方向控制等应用于物理小提琴合成模型。

上世纪 80 年代末，Jon Rose 研究了一种感应弓。该系统由食指下的压力传感器和 用于探测弓子位置的声纳传感器组成，与 Trueman 的方法类似⑨。Chafe 使用了一把大提 琴弓，弓中央有一个弯曲传感器，琴弦上有一个加速计。弯曲传感器可以对应于弓子压 力和弓子弯曲的任何其他动作。加速度计的重量很微小，几乎可以忽略不计，它可以作 为位置传感器或运动传感器。在 Chafe 的设计中，弓是作为乐器的一部分，而不是测量 装置。Trueman 和 Cook 的“R-Bow ”与 Chafe 的类似，只是他们在海绵之间安装了两个 力敏电阻(F SR)⑩ 。该研究还介绍了“Fangerbored ”，这是一种带有线性位置传感器的小提琴指板，可以用传统的左手技巧在一根弦上演奏。在弓的推动下，每根“弦 ”由一小 块泡沫覆盖的木头组成，自由地放在两个固定的力敏电阻之间。每根弦都可以弯曲，形 成一个数据点，这个数据点取决于方向、压力和弯曲速度。负值表示上弓，正值表示下 弓。微控制器将数据转换成 MIDI 连续控制信息①②。

Goto, Pierrot 和 Terrier 共同开发可一个名为“SuperPolm ”的小提琴控制器③ 。它里 面集成了七个传感器，以提供连续的输出变量。该系统提供了一个接口，能够根据小提 琴演奏者的不同手势来控制不同的合成参数④。

在 Burtner 和 Serafin 的工作中，通过延伸更多的演奏技巧，如跳弓、顿弓等来研究 弓弦乐器 的物理模型⑤ 。模型基于数字波导技术 ，使用 Max/M SP 图形编程接 口和 Metasaxophone 进行控制⑥⑦ 。Serafin 等人进一步讨论了弓弦物理模型的表达控制器，并 利用平板电脑和 vBow 等硬件扩展了控制方案⑧⑨。

Machover Gershenfeld 和 Paradiso 构建了一套他们称之为“超级乐器 ”的乐器。关 于弦乐家族，他们制造了各种各样的传感器并安装在乐器上，试图测量演奏姿势的变化 ⑩ 。“超级大提琴 ”是最新推出的超级仪器之一，它由两个传感器组成，一个可以传输 有关手指压力、手腕和弓子位置的信息，另外一个可以检测左手按压指板的位置。这些数据被传送到计算机网络，用于分析和控制合成器、采样器和信号处理器。

Schoner 等人研究表明，小提琴的声音输出是从静音乐器上捕捉的手势数据中模拟 出来的。该系统是基于神经网络训练和学习，通过复杂的传感硬件设置对身体的手势输 入进行测量，从而到音频参数输出的映射⑪。

（二）手势反馈

手势反馈是控制虚拟音乐设备的一个重要问题，乐器演奏者通过一些身体动作和手势，比如用琴弓拉弦等来产生相应的演奏参数。在现实的乐器中，这些动作手势是由乐器的发声机制决定的。任何产生声音的运动都带有产生声音的动作特征，在声音合成技 术中，物理建模能够将乐器声音的合成与发声机理进行关联匹配①。

大多数控制器都是基于钢琴键盘来设计的，这些控制器的基本原则是假设每个音符 都是一个孤立事件，其音高、音长、音色和振幅之间无法相互作用② 。然而对于大多数 乐器来说，“一对一 ”的映射，即每个音符相对独立是比较少见的③ 。Friberg 等人的研 究提出，需要提高计算机性能，并介绍了相关高性能计算机中所使用的表达式参数④⑤。 虽然手势反馈是控制虚拟音乐设备的一个重要问题，但听觉反馈和乐器演奏时的演奏方法也很重要。

（三）触觉反馈

在用合成算法进行计算时，由于大多数乐器的演奏者与振动元素（琴弦）直接接触， 因此 Cadoz 提出了使用性能手势的异步分层结构的重要性⑥ 。这是一种可以同时表示低级运动轨迹和高级音乐发音轨迹的层次结构，为建立手势驱动交互的控制体系结构提 供了一种理想的模型⑦⑧⑨。

Askenfelt 等人的研究还表明，在乐器振动的过程中，人类皮肤感受器的敏感性在频 率和振幅范围上是差不多的⑩。Winkler 等人对于虚拟环境、乐器以及控制设备（如面板、 垫子和可穿戴设备）等方面的一些应用程序做了大量的创建和研究，并做出了概述⑪。

Gillespie 介绍了器乐演奏中的触觉概况，认为小提琴演奏员从小提琴中接收到的振 动进入了下颌和头部。这种对演奏员来说至关重要的联系被称为“触觉联系 ”。因此可 以考虑从使用手势控制虚拟技术和在空间 中听觉和感觉声音的角度来考虑触觉⑫ 。 O’modhrain 将触觉学与仿真相结合，对提高人机交互和技能转移的性能方面进行了广泛的研究，研究还发现触觉反馈可以提高学习者学习虚拟乐器行为的能力①。

通过相关文献的综述可以发现，国外在人机交互过程中对于虚拟小提琴中的弓弦控制、手势反馈以及触觉反馈等相关方面的研究很丰富，包括弓速、压力、位置、指板位置等变量都有相应的传感设备进行实时的反馈和检测。对于具体模块的应用和实际交互效果方面，还有待完善和丰富。

第二节  虚拟现实技术在小提琴教学中的应用

一、虚拟现实技术在小提琴节奏教学中的应用

（一）VR 节奏教学需要解决的问题

达尔克罗兹认为，人体运动和音乐之间存在着紧密联系。他在担任 日内瓦音乐学院 教授时，发现他的学生在上课时踩不准拍子，但是走路时却能走出恒定的节拍。于是他 推断音乐学习的起点可能不是小提琴、单簧管等乐器，而是人的体态活动。

在学习节拍前，先学习体态律动，可以帮助学生发现 自身的节奏感。体态律动的重 心就是节奏，依靠稳定的节奏，大脑和身体之间可以产生实时而有规律的交流。达尔克 罗兹认为，音乐与身体运动之间存在着相应的表现要素，如：音高可以用手势在空间的 方向和位置表示，音强可以用肌肉力度表示，音色可以用身体不同部位的表示，音值可以用动作持续的时间表示，休止可以用停顿表示等等。

在 VR 节奏教学中，我们带上 VR 眼镜的那一刻，就来到了一个全新的空间。我们 可以手持手柄，通过击打不同高低位置的音符来体会音高，通过不同的动作，如两手对 拍、拍腿、下蹲和摇摆等体会不同的音色，通过动作持续的时间以及快慢来体会音值。 一切平时看起来二维的五线谱和音符，一下子跃然眼前，仿佛置身于音符世界，可以让学生们生动地感受到音乐的特征。

一般来说，在体态律动中，律动动作可以分为两种，一种是原地型，双脚不发生位 移，适合狭小的空间；另一种是空间型，适合较为开阔的场地，双脚可以 自由的活动。 我们在平时的练习中，可以根据 VR 设备所在房间的大小，来确定选用原地型动作或者 空间型动作。原地型主要有摇摆、挥手、拍腿、拍肩、转动、弯腰、拍手等，空间型主 要有走、跑、爬、跳、滑、蹦等。

在本节内容中，笔者设计了一些原地型的动作。双手各持一个手柄，每只手都可以 朝上、下、左、右四个方向摆动，同时也有两手对拍、拍腿、下蹲和摇摆等动作。通过 手握 VR 手柄配合击打音符，来帮助小提琴学生体会节奏与律动之间的关系，以达到掌握所设计的节奏型的目的。

(二)VR 节奏教学

这一节中，我们设计了两个节奏练习课例，选用的曲目是《A 大调音阶》和《划小船》。所用的硬件设备有VR 头盔一个 (HTCVIVE),    手柄一对，台式电脑一台，所用软件设备是 “Beat Saber”。

2.1 恒拍教学

第一个课例是《A 大调音阶》,适合启蒙阶段的学习，全曲四四拍，节奏规整，速 度是每分钟恒定60拍。为了让学生能够掌握恒拍，有一个稳定的内心节奏，笔者选用 了两首通俗乐曲，速度一快一慢。学生需要带上VR 眼镜，手持手柄，击中按照恒定节 奏飞向眼前的节奏块，通过模拟挥手、拍腿等动作来锻炼学生的体态律动能力，以此来提高学生的节奏感，继而运用到小提琴演奏中。 A 大调音阶谱例见下图2-1。

教学步骤如下：

(1)分析节奏型： TA TA TATA;

(2)设计体态律动：挥手、拍腿；

(3)选用练习歌曲：慢速《出山》;快速《西游记主题曲》;

(4)VR  节奏训练：选用孩子们熟悉的音乐材料对学生进行恒拍教学，如图2-2;

(5)小提琴节奏迁移训练：待学生对恒拍掌握后，进行节奏的迁移训练，在小提琴上练习空弦恒拍，如图2-3。

第三章

虚拟现实技术在音乐教学中的

问卷调查及展望

VR 作为教学信息化道路上一个重要的发动机，它具有传统技术无法比拟的优势， 尤其在看不见、摸不着的领域。未来，它的发展将更具多元化，能够应用的领域也会更 加广泛。将这一技术应用到音乐教学中，必定会给孩子们带来一种新的视听体验， 一定程度上提高孩子们的音乐素养和音乐鉴赏能力。

然而，虽然虚拟现实教学存在诸多优势，介于音乐教学的特殊性和虚拟现实技术硬 件设备发展情况因素制约，这一技术在音乐教学中应用的局限性还有很多。这一章中我 们分别对参加陕西省国培计划的教师和西北工业大学附属中学的学生做了问卷调查，了 解教师和学生们对于 VR 技术应用在教学中的真实看法，共回收有效问卷共230份。其 中，对国培教师发放调查问卷40份，回收有效问卷34份；对西北工业大学附属中学高 一年级 A2、B4、B5、C1  四个班的学生发放调查问卷196份，回收有效调查问卷196份。根据所收集意见，总结出了这一技术在音乐教育领域的发展趋势如下。

第一节  虚拟现实技术在音乐教学中应用的问卷调查

一、教师问卷调查

笔者于2020年11月24日在西安音乐学院对参加国培的陕西省各地中小学音乐教 师进行了调研，了解教师们对于VR 技术应用在教学中的真实看法，发放调查问卷40 份，其中回收有效调查问卷34份。发放问卷形式为培训课前5分钟当场发卷填写并收回(见图3- 1)。

通过问卷调查发现，约21%的教师了解VR(Virtual Reality) 技术的概念及其应用 领域，约54%的教师大概知道VR 技术，约25%的教师对VR 技术不太清楚；约3%的 教师在生活或学习中经常使用VR 设备(头盔、手柄),使用次数大于5次；约34%的 教师使用次数不超过5次，约53%的教师完全没用过；使用过VR 设备的教师70%是为 了娱乐，10%是为了教学，20%是为了其他；约12%的教师了解VR 设备在教学中应用 的案例，如历史课VR 全景体验，约78%的教师并不了解；没有教师了解VR 设备在 音乐教学中应用的案例；  约85%的教师非常期待VR 技术未来可以应用在自己的音乐 课堂中，约12%的教师认为用不用都可以，约3%的教师不希望VR 技术应用在自己的音乐课堂中。

总之，大部分音乐教师认为机器做的更多是一些规则性、程序性的工作，想要学好 音乐还是需要面对面授课。那么在现实情况中，只依靠程序员的技术是无法真正解决问 题，推动音乐科技在音乐教育中的进步。只有音乐专业人士积极参与软硬件的开发与制 作，提供有价值的专业意见，才有可能使我们音乐与科技相结合的技术发展得越来越好。

二、 学生问卷调查

笔者于2020年11月20日到西北工业大学附属中学高一年级四个班的学生进行了 调研，了解学生对于 VR 技术应用在教学中的真实看法，发放调查问卷196份，这些问 卷来自高一A、B、C 三个班型，回收有效调查问卷196份。发放问卷形式为音乐课前5分钟当场发卷填写并收回(见图3-2)。

第二节  虚拟现实技术在音乐教学中应用的局限性及展望

一、虚拟现实技术在音乐教学中应用的局限性

（一）技术的局限性

乐器的设计是经过几个世纪不断完善的过程，然而虚拟现实乐器出现时间并不长， 目前更多地被认为是一种娱乐工具而不是教学工具。目前市面上的 VR 音乐教学内容都 较为简单，只适合音乐初学者和初级学员使用。音乐演奏，特别是小提琴演奏，里面涉 及很多力度和情绪、弓弦接触点等问题，这些关系较为复杂，也比较感性，科学技术很 难实现。虚拟现实乐器的主要问题之一就是控制问题。像小提琴的琴弓这样真实乐器呈 现出的精致复杂的设计和触觉反馈，在虚拟乐器中还无法做到。

对于小提琴演奏来说，我们的左手和右手需要密切的配合，如果系统稍有延迟，就 会影响演奏的状态。由于技术的限制， 目前的 VR 音乐教学依然存在体验感较差、难以 获得高精度的人体运动等问题。这对于交互性很强的课堂，效果并不理想。来 自美国的 Lei Zhang 团队也发现，当 VR 应用在教学过程中时，其互动对于学生学习过程的收获产 生的影响并不明显。

在早期的虚拟现实技术中，还有一个问题也经常被使用者们所抱怨，那就是头戴显 示器的重量和体积过大，不适合年龄过低的孩童佩戴。不过 目前这一问题已有所改善，目前市面上的 VR 头盔已经被更小、更轻的头部跟踪器所取代。

（二）应用范围的局限性

已有研究表明，虚拟现实研究对于不同学科，教育效果会有所不同。传统使用 PPT 的教学更加擅长于需要通过文本和图片记忆的特定知识，而 VR 教学更适合于理解性知 识的传授，不适合记忆性知识的传授。在 VR 画面中放入大段文字可能会降低学生的阅读意愿，因此并不适合传授文字一类的内容。

因此，对于小提琴教学来说，我们可以在 VR 中练习动作协调性，但遇到谱面分析 等相关问题时就不太适合了。另外，Havice 也发现，在使用虚拟现实的信息系统课上学 习的学生不如使用更传统方法的控制组学习得好①。

Rintala 还关注了在课堂中，由于不当使用 VR 技术，导致缺乏个人与团队协作的不 利影响② 。这些不利影响包括缺乏承担责任的能力、对 自己和同学负责的能力、与他人合作的能力以及交朋友的能力等等。他认为，在 VR 中很难看到这些品质如何表达，更不用谈如何发展①② 。因此，VR 技术不适合用于和交流协作相关的一些课程。

（三）成本的局限性

Issroff 和 Eisenstadt 评估了第一批运用虚拟现实技术的“虚拟暑期学校 ”的有效性③。 他们发现，虽然它在很多方面都是成功的，但它的成本实际上比真正的课堂要高。为每一个学生配备一个 VR 头盔要花费一笔巨额费用。

相对而言，性能中等偏上的 VR 设备，其价格也普遍偏高。业界公认的高性能 VR 产品 HTC-VIVE 就并非“亲民价 ”，一套设备售价高达人民币一万两千多元，再加上 P S4 主机套装，整体价格在两万元左右，这还不算教学软件的售价。 目前来看，作为一 款教学工具，其售价超出普通学校的承受能力，使得购买动力并不足。这种情况下，学 校完全可以找一个资质优 良的教师来代替。而且这些教学产品还只处于初级阶段，真正 的使用效果还无法定论，这也是阻止它大面积普及的一个重要原因。对于初学者来说， 一把练习级别的小提琴售价可能只有几百元，而动辄上万元的设备就很容易让人望而生畏。

从上面的几点讨论中，我们可以看出，虽然虚拟现实技术有着积极和令人兴奋的前 景，但这不应该以牺牲实际的课堂为代价，我们仍然需要对 VR 技术和传统课程的优缺 点进行分析。若是出于管理、时间或经济原因，纯粹采用虚拟现实来代替“真实 ”课堂， 这样的做法无疑是片面的。VR 的使用可以增强一些学习体验，但不能完全模拟这些体 验。 目前最有成效的方法是使用 VR 技术来帮助真正的课堂，改善教育体验。

当未来的虚拟现实技术像现代计算机一样变得普遍而广泛的时候，它必然会对音乐 教育的传统模式带来挑战和颠覆。问题是，VR 能正确解释音乐吗？这是我们非常担心 的问题，同样也是大家都在讨论的问题，为此很多人否定在音乐教育中使用虚拟现实技 术。但是，通过前两章的研究发现，虚拟现实技术确实可以在音乐教育中发挥巨大的作 用。在新兴科技面前，我们不能人云亦云，全面否定或者全盘接纳，要时刻保持 自己独 立判断的能力，师夷长技以制夷，取其精华为我们 自己所用。

二、虚拟现实技术应用展望

（一）虚拟现实技术应用展望

在虚拟现实技术的应用方面，国内外许多研究团队在体育、采矿工程、残疾人教育 等多个方面均进行了应用研究并取得一定成绩。其中较为成功的有 Multigen creator 平台、VREX 云平台、NCLS。

Zhao Guoliang 的研究团队将虚拟现实技术应用于采矿工程数字教育，开发了一个虚 拟现实软件 Multigen creator 平台，具有三维场景漫游、动画制作等功能。它不仅可以应 用于学习数字化教育，还可以应用于技术培训、安全救援决策、事故模拟和调查分析等方面。

Li Ying 教授团队通过 VREX 构建了一个开放的、沉浸式的虚拟的教室，让学生能 够让学生在任何时间、任何地点和任何频率体验交互式学习，虚拟现实教育表现了学习效率高、效果好、及时反馈、低成本、操作安全等特点和优势。

Shuang Li 的研究团队基于 VR 技术构建了一个网络合作学习系统(NCLS) ，分析了 其典型应用的工作流程和信息流程研究如何可以方便地实现远程协作学习，分布式学习和 自主学习。

天津理工大学体育学系基于体育教学与训练的本质，构建了虚拟现实技术在体育教 学与训练领域的应用模型和 VR 系统培训软件，可以为人们提供视觉展示，并结合游戏、情境化、协作学习、在线教育等手段，能够深度激发学生主动学习的兴趣。

武汉首义学院的尹坤坤设计出了实现应用于教学实验过程的虚拟软件搭建的方案， 目前该方案主要应用于教学实验过程中各细分领域的虚拟软件搭建，基于该方案搭建完

成的虚拟现实机械领域实验室已在华中地区部分高校中应用并取得较好成果。

德雷克塞尔大学电子与计算机工程系的 Pramod Abichandani 团队认为使用虚拟现实 技术的可视化的管理方式在未来可能成为新的趋势。借助地图信息和地址数据信息，传 统的宽带资源能够实现可视化的管理方式，为资源查询、资源建设、资源维护都提供 良 好的功能支撑。随着端到端的网络拓扑应用挖掘、有线、无线专业数据融合，实现大数 据分析，得出不同维度的价值清单，有针对性的指导市场营销、规划建设、网络运维等生产工作成为网络资源管理的新手段。

虚拟现实技术未来发展趋势主要有以下五个方面：

（1 ）全景库增加，各行各业都可以在 VR 中找到实用场景；

（2 ）产品的成本不断降低、硬件的使用度提高；

（3 ）随着技术的普及，越来越多的人会涉及到该行业，软硬件的开发者将会不断 增加；

（4 ）体验感更好，真实感更强；

（5 ）广告领域将加大 VR 技术的 占比。

（二）虚拟现实技术在教学中的应用展望

目前 VR 可以作为一个用于补充常规授课内容的工具。虽然 VR 对于教育的积极影 响也取决于某些变量，但不可否认它对于教育有着特殊的贡献。VR 应用于教育中时能让学生更加专注，主动性更高。这种优势来 自于 VR 本身的沉浸感，这样的沉浸感是传 统的教学方式无法提供的。在 VR 的教学过程中，学生能够拥有更高的参与度，更好地融入整个学习的过程中去。

对于需要一定想象力的学科来说，虚拟现实技术可以从全方位模拟一些普通课堂中 无法实现的场景。AftabAlam 团队通过模糊逻辑的方法定量测定了学生的学习技能，并 将其用于 3D 虚拟学习环境（3D-VLE）内容的适应标准，以解决 3D-VLE 的 自适应能力。 实验结果表明该方法用于为学生定制学习内容能够有效地增强学生的学习能力。

来 自台湾师范大学的研究团队研究了虚拟现实应用于科学教育时是否能够表现出 显著的差异。实验结果表明该 VR 课堂对学生们的学习成绩有积极影响，学生的学习主 动性也比接受传统教学的对照组要好很多。除此之外，教师也能通过 VR 的记录制定教学策略，更好地针对性的纠正学生的弱点。

Olga López Ríos 团队利用 VR 模拟真实过程，并以此完成不同场景下的教学，通过 这样的方式来培养本科工程专业学生在统计方面的思维。研究的结果证明接受 VR 教学 的学生在统计学思维方面会有更好的认识。同时，学生能够在 VR 的教学中收获相关领域的一些技能。

传统的教学经常在三种不同的环境中进行：教室、演播厅以及户外。然而，随着多 媒体技术的出现，人们尝试着把这三种学习环境搬到学生的电脑上。虚拟课堂（以下简 称 VFT ）指的是“将文本、音频、图形和动态图像整合到一个单一的、计算机控制的多 媒体产品中的课堂 ”①。

VFT 效果如何以及它在多大程度上可以取代真正的课堂？一般来说，许多虚拟现实 技术和产品相对于传统替代品的有效性和教育价值是假设的，但也有研究者做过一些正 式评估。例如，Dary 和 Richards 对本科生心理学教学方法进行了比较，结果普遍认为 虚拟现实技术更好② 。Bitner 等人对 VFT 的评估也是为数不多的正式评估之一。他们发 现 VFT 的使用提高了学生解决“现实世界问题 ”的能力，并成功地将几种应用程序的 使用整合到多媒体演示的制作中③。

VFT 能否以某种方式改善传统的课堂呢？许多正式的研究都强调了一点，那就是帮 助学生为课堂做适当和有效准备的重要性。例如，Openshaw  和 Whittle 发现，学生在进 入课堂之前做好准备，可以最大限度地减少学生遇到的学习困难④ 。Killerman 发现，在 进入课堂之前熟悉材料可以提高学生课堂学习的乐趣，并使学生更好地吸收知识⑤ 。那么，VFT 在多大程度上可以作为准备方式使用呢？在 Warburton 和 Higgitt 的研究中，它 可以有效地用于地理课堂的准备① 。比如说，总会有一些“环境 ”，带学生去这些环境 中体验是不可能或不安全的，这个时候 VFT 就可以发挥 自己的作用。当学生们带上头 盔，就可以立马体验到当下的环境，对课程内容的理解和记忆也会更深刻。Bellan 和 Scheurman 在讨论了虚拟和真实课堂的优缺点之后，认为虚拟课堂可以补充和增强真实 课堂②。Holt 建议，学生可以通过使用超 VFT 程序，按照 自己的节奏探索“熟悉的领域 ”， 从而使课堂成为一种更有价值的体验③ 。很多学生认为，VFT 是可以更好地利用时间的 一种方式，使用 VFT 来增强实际课堂的想法可以说这一技术的普遍价值之一。在一些大学里，VFT 的使用已经成为本科教学的一部分，而且这种使用很可能还会增加。

三、虚拟现实技术在音乐教学中的应用展望

虚拟现实技术可以在三维空间内明确地表现各类事物，音乐学习者可以随时与虚拟 环境内的各种对象进行互动，获得对整个环境的最大控制和操作。同时，这种环境也可以反应多种信息，为音乐学习者提供直观和有效的学习方法。

（一）虚拟现实技术在音乐教学中的应用展望

1 、节奏技能训练：第一章中介绍的几种 VR 音乐体验，可以作为训练节奏技能的 工具，既可以学习节奏，也可以按照特定的节奏进行练习。不仅仅在小提琴中，在各类乐器中都可以用 VR 来完成节奏的学习。

2 、远程合作训练：远程呈现和共享社交的 VR 体验越来越受欢迎。尽管虚拟现实 仍然存在延迟或难以看到彼此全貌等问题，但它可以为人们创造社会存在感，让用户在与不同地方和同龄人一起练习 自己的音乐技能，如举办 VR 线上小提琴重奏音乐会等。

3 、恐惧康复训练：VR 已经成功地用于几种形式的恐惧症的康复训练，例如害怕公 开演讲、公开演奏等④ 。我们在正式小提琴演出前，完全可以利用 VR 设备模拟要演出的场景，以此来缓解紧张感。

4 、作曲和音乐创作训练：沉浸式环境可以作为音乐创作的工具。与谷歌的成功应 用 TiltBrush 允许在 VR 中绘画类似，学生可以设计一个 3D 的声音背景并在 VR 中播放， 同时在一个创造性的环境中训练他们的音乐创作技能。这一点我们在本文的第二章第二节即兴创作训练中已经得到了应用。

5 、编程技能培训：近年来，编程成为一门越来越热的话题，孩子们可以在这里练 习编程技能，同时创建新的虚拟现实乐器。在这种情况下，用户不仅成为表演者，而且 成为乐器的制造者和设计者。

6音响训练：最近 Nobuyuki Umetani 等人的研究展示了如何用特定的频率响应设 计简单的乐器或音乐玩具，然后进行实体打印①。Stefania Serafin 等人 目前正在开发一个 虚拟现实应用程序，允许用户在 3D 沉浸式环境中设计这样的乐器②。这样一来，孩子们可以在设计新乐器时学习声学理论，最终打印出实体乐器。

2019 年 9 月，笔者参加了中国心理学会音乐心理学专业委员会主办的第二届年度学 术会议。论坛的话题之一就是歌词艺术的机械创造。音乐和科技的结合在未来的社会中 会体现得越来越紧密。进一步说，互联网技术可以帮助音乐家们分享知识，也可以为孩子们提供优秀的教师资源，足不出户就可以享受大师和专家的讲课。

（二）虚拟现实技术在小提琴教学中的应用展望

毫无疑问，VR 技术是“互联网+ ”的社会背景下为我们带来的便利。这意味着，未 来学生可以在家里接受最专业的音乐教育，大大提高学习乐器的效率。虚拟现实技术为 音乐学习者寻找音乐老师带来了便利，辅助音乐学习者的学习与练习，成为学生的好帮手。虚拟现实技术在小提琴教学中的应用展望主要有以下四个方面：

1 、关于虚拟小提琴场景的全景库增加，可以足不出户实现在演奏厅、户外或者任 何演奏者想表演的地方进行演奏。

2 、随着虚拟乐器的成本不断降低、越来越多的人开始使用硬件设备辅助小提琴学习。

3 、随着相关技术的普及和发展，小提琴教学软件和硬件的开发者将会不断增加。到时候，学习者就可以根据 自己的喜好和程度选择不同的教学系统。

4 、对于小提琴的操控感和体验感更好，真实感更强。

笔者认为，当考虑一项技术是否可行时，应该问一些基本的问题。首先，技术是否 做了一些没有技术就无法完成的事情？第二，这项技术是否能帮助人们更容易、更快、 更准确地完成任务？第三，改进这项技术可行吗？如果这三个问题的答案都是肯定的，那么应该有信心实现该技术。

音乐与互联网的结合，音乐与技术的结合是今后的发展趋势。除了使用虚拟现实技 术来增强传统的音乐课程外，未来可以考虑为不同的技能教育服务，如帮助准教师参与早期的教学模拟，提前感受教师的角色等等。希望在不久的将来，在拥有更强大科学技术的环境中，机器可以帮助人们一起完成更远大、更美好的 目标。

结语

近年来，虚拟现实技术给社会带来了巨大的发展和变化。在教育、医学、航天、工 业、游戏等多个领域，虚拟现实技术给我们的生活各个方面带来极大的便利。

本研究以虚拟现实技术在音乐教学中的应用为主要内容，介绍了虚拟现实技术在音 乐教学中的应用现状及前景。笔者通过对国内外相关文献资料的捜集整理，提出了研究 背景与意义。对应用文献进行梳理后，发现国内在音乐教学中的研究较少，从而提出了 本文的创新点——虚拟现实技术在小提琴教学中的应用。笔者对应用于小提琴教学中的 实践情况以及 目前存在的不足和未来可能的发展趋势等问题进行了深入探究，使读者对 音乐教学和虚拟现实这两者相结合的教学手段有一个大体的认识和了解。

为了考察相关群体对于这一技术现状的认识，笔者编制了“虚拟现实技术在音乐中 的应用调查问卷 ”，对部分学生及教师进行了调查分析研究。为了进一步验证这一课程 模式的可行性，笔者设计了两课相关案例。从节奏教学和即兴创作两个方面，请六位不 同程度和年龄的小提琴学员配合，完成案例分析来加以证明。基于此，完成了虚拟现实技术在小提琴教学中的应用的研究。通过本研究，得出以下结论：

第一、虚拟现实技术在中小学校音乐课堂中开展应用，可以提高课堂的趣味性，增 加学生学习音乐的兴趣和动力，强化学生的体验感和沉浸感。同时，采用这一方式也可以促进教学质量和效率，有助于学生理解音乐的要素，巩固理论知识。

第二、虚拟现实技术很大程度上可以改善诸如乐器和课费昂贵、教师稀缺、设施匮 乏等问题，使传统的音乐教育变得更加多元化。在学前音乐教育课堂、中小学音乐教学 课堂和社会上各类音乐教育机构中，都可以通过虚拟现实智能设备完成器乐交互及沉浸 式体验。

第三、虚拟小提琴教学可以提高学生对于小提琴学习的效率与乐趣。从节奏学习和 即兴创作两方面，丰富小提琴教学的内容，扩展小提琴教学的广度，使枯燥乏味的练习 变得生动有趣，真正让学生热爱音乐。

第四、虚拟小提琴教学中的节奏教学可以提高学生反应音乐的能力，提高学生的内 在乐感，发展学生耳、眼、身体和脑之间进行迅速交流的能力。在 VR 律动中，学生根 据所听音乐，将时间、空间、能量三者内在地结合在了一起，使音乐与肌肉动作之间产生了紧密的联系。

小提琴教学、钢琴教学等等都是音乐教育的一个组成部分，有助于发展学生的音乐 能力和审美能力。 目前，随着科学技术的发展，不仅仅是小提琴，各类乐器包括键盘乐 器、管弦乐器、弹拨乐器、打击乐器等中西方乐器都可以在 VR 中做到外观上的立体复现。然而小提琴演奏是一个较为复杂的过程，弓弦之间的角度和压力以及手指的触感等等要配合各种精密的运算，在当前的虚拟现实乐器中还无法做到。相信不久的未来，随 着开发者的增加，包括小提琴教学在内的各类器乐教学的软硬件都会不断升级，技术上 也可以突破真实触感这一难关，使得操控乐器的体验感更好，真实感更强，真正实现让人们如同置身乐器前进行实感演奏。

今天的虚拟现实技术正在满足人们的各种实际需求，虚拟乐器的普及和成本降低也 会促进越来越多的人使用硬件设备完成器乐学习。放眼望去，这一技术未来将发展成为 能够处理多维信息的强大系统，成为我们进行思维和创造的助手，深化和改变我们的一些概念。

参考文献

扫描二维码｜

关注我们｜