虚拟化身旨在呼应动作和语音的执行,通过将用户的身体表情实时应用于足够拟人化的 3D 模型,将用户的身体表情扩展到元宇宙。通过巩固实施例,空间跟踪的头戴式显示器(“HMD”)从第一人称视角渲染 3D 视听内容,包括进入视野的每个化身。
嵌入式麦克风、红外和单色摄像头以及运动传感器使 Avatar 能够访问用户通过语音、眼睛和面部运动、手和手指运动以及肢体运动来促进用户的各种表情。
由此产生的沉浸感(存在感、身体所有权和代理权)已经激励许多人使用专为创意表达、协作、社交、旅行、娱乐、运动等而设计的应用程序,在虚拟现实中执行 ADL。
但是,我们的用户不能使用既定的控制模式来连接他们的头像。虽然他们可以很好地处理视觉和音频信息,但他们的严重瘫痪使他们无法使用手持控制器、头部跟踪 HMD 甚至语音来探索虚拟环境并与之交互。
新兴的电机脑机接口有能力使这些限制成为过去。正如我们在上一章中所看到的,目前的解决方案已经可以以近乎自然的速度解码身体的大部分运动学和语音。
如果将这些解码的动作插入到用户的化身上,用户可以绕过通常的VR输入模式,安全地执行他们渴望的活动。VR不仅促进了这种自我实现,而且这种数字面纱的一个幸运的副产品是,用户将被感知到,就像用户一样,不会瘫痪。
最后,现在我将VR的价值与用户需求(在用户成果中定义)联系起来,这些需求是由最先进的电机BCI提供的行为洞察力实现的。
通过VR满足用户需求
沉浸式技术旨在不知不觉地融合物理世界和虚拟世界。对虚拟环境的高度控制为患者提供了广泛的各种条件的好处。
随着数十万篇与医疗保健相关的出版物,研究人员已经将 VR 用于疼痛管理(Matthie 等人,2022 年)、身体(Eng 等人,2007 年;Sucar 等人,2013 年;Moreno等人,2016;Lansberg 等人,2022 年)和认知康复(Rose et al.2005;Mendes 等人,2012 年;Foloppe 等人,2015 年)、心理健康(Parsons 和 Rizzo,2007 年;Provenzano 等人,2020 年;瓦格纳等人,2021 年;McGhee 等人,2023 年)等。
在学术界之外,许多这样的VR应用已经取得了商业上的成功。XRHealth已经将许多医学评估和治疗转变为VR。最近,XRHealth通过收购Amelia扩大了其心理健康服务范围,为认知、心理和身体适应症提供了广泛的VR体验(所谓的“虚拟治疗室”),每个体验都在FDA注册,其中一些由CMS覆盖(在“远程健康监测”下)。当患者访问虚拟治疗室时,医生可以登录数字门户来监控他们的详细测量和更广泛的进展,并创建或调整他们的 VR 治疗计划。
AppliedVR 的 RelieVRx 可减轻慢性腰痛,是第一个获得 FDA 批准带回家的 VR 疗法的公司(Park,2021 年),此后获得了具有唯一 HCPCS II 级代码 (E1905) 的报销范围(Diamond,2023 年)。Penumbra 的 REAL 系统在 VR 中提供了一系列上肢康复练习,并且也获得了 FDA 的批准(Kirsh,2019 年)。
事实上,迄今为止,FDA 已经批准了近 40 个沉浸式系统(FDA,2023 年)。FDA批准的大量解决方案不应削弱FDA在许多复杂的技术(图29)和临床(图30)因素中评估其安全性和有效性时面临的困难。
除了 E1905(作为耐用医疗设备)的 VR 设备覆盖范围外,CMS 还授予了几个涵盖 VR 相关程序的 CPT 代码(O'Connor 和 Chaudhary,2023 年):
98975–98977, 98980–98981:远程治疗监测
0770T:VR技术辅助治疗
0791T:运动认知、半沉浸式 VR 辅助步态训练
0771T–0774T:VR 程序解离,它使用计算机生成的音频、视觉和本体感受沉浸式环境来创造意识改变的临时状态,通过增加疼痛耐受性和/或减少疼痛感来提高患者的舒适度在给定的手术过程中。
VR 在医疗保健中的应用(有关评论,请参阅 Bansal 等人,2022 年;Won Lee,2022 年)VR的广泛兴起及其持续增长支持了这一点。麦肯锡公司(2022)认为,到2030年,元宇宙的潜在经济价值可能会产生高达5万亿美元的影响,Omdia(2023)预测,到2026年,消费者在VR内容上的支出将达到75亿美元。与更广泛的神经技术市场一样,扩展现实(“XR”)市场分析并不是这项工作的重点,因为许多人在其他地方已经写过它。
许多基本、器乐和高级/娱乐 ADL 已经可以在 VR 中模拟,这导致它被用于评估和改善认知和身体健康:
克利夫兰诊所的 Alberts 等人(2022 年)创建了最先进的 ADL 模拟之一,该模拟量化了用户购买杂货的能力:
从定量上讲,Buele 和 Navarro (2023) 强调了在 VR 中模拟 ADL 对患有认知障碍的老年人的认知运动功能的明确积极影响:
图 31,Buele 和 Navarro 2023 — 荟萃分析研究的特征表明,运动与基于 VR 的认知运动干预相结合,可以激活特定的大脑区域并促进一般认知、执行功能、注意力和记忆力的改善。
除了功能优势外,在 VR 中模拟 ADL 还可以自动执行原本繁重的护理(Bauer 和 Andringa,2020 年),培养临床健身房设置无法实现的日常独立性(Matsangidou 等人,2023 年),并增加对体育训练计划的积极性(Pichierri 等人,2011 年)。
VR的成功标准
运动脑机接口已经可以解码用户的大部分生物力学,包括尝试的言语和面部运动、手指运动、手和手臂运动,甚至一些全身运动(集成解码)。鉴于商业化、小型化、生物相容性和机器学习工作所推动的改进速度,人们可以估计用户的需求在多大程度上可以在虚拟世界中得到满足,如果他们能够用同类最佳的电机脑机接口来体现他们的化身。
发展
为了完成这样的任务,我首先在临床运动脑机接口的成功标准——用户结果中对用户的愿望进行了全面细分,将它们视为运动脑机接口驱动的VR应用程序应满足的结果目标列表。然后,我将它们与今天可用的适当 VR 体验相匹配。
在某种程度上,VR模糊了物理和虚拟之间的界限,以下VR体验使用户成为他们最渴望的人。
“运动 BCI 解码要求”列表示最低解码要求,以满足与每个成功标准相关的运动结果,如相关 QOL 仪器所详述的那样,不包括每个 VR 体验所必需的尝试颈部运动。
“基本原理”专栏进一步讨论了 VR 体验与支撑每个成功标准的特定 QOL 工具项目的映射,并根据需要为 VR 体验提供了其他有用的上下文。
实际影响
表 3 显示,普遍可访问的 VR 体验可以实现用户、他们的看护人和研究社区认为重要的运动脑机接口的许多有价值的结果。
可用的VR内容的特殊优势是社交,职业和愉快的活动,这些活动为用户提供了近乎无限的表达范围,而不会显得残疾。事实上,VR通过普遍的卡通化身为所有用户提供了公平的竞争环境,并将灵巧的身体动作简化为近似值 - 作为用户训练以掌握其运动BCI技能的完美沙盒。
虽然目前是卡通化的,但VR角色有望在不久的将来获得重大升级 - 虚拟和实时地重建任何用户的肖像。Xu et al. (2023) 和 Saito et al. (2023) 开发的 3D 高斯飞溅头像可以准确描绘极其复杂和夸张的面部表情和复杂的亚毫米级细节(如毛发或毛孔)——最终让逼真的化身逃离诡异的山谷。同样,全身化身(Kocabas et al., 2023)和环境(Xie et al.2023)将获得“高斯升级”。
虽然有意义,但逼真的头像渲染不足以确保沉浸感。允许他们逼真的运动控制对于他们的成功至关重要。有些方法仅依靠音频或文本来为头像制作动画(Tevet 等人,2022 年;NVidea,2023 年;Zhao 等人,2024 年)。大多数使用扩散模型,有朝一日可能会将神经数据作为输入。
用VR满足用户需求的主要局限性是,在虚拟世界中采取的许多操作缺乏对物理的影响。虽然未来可能会通过融合VR和机器人技术来解决这一问题,但目前,在VR中饮水并不能满足用户的口渴,跑步也不会扩大他们的肺部。
从严格的经济角度来看,维持用户日常身体健康的成本可能不受VR的影响,尽管它可能会被用户从从事VR特有的广泛职业中获得的报酬所抵消。
然而,VR是否满足用户的需求,以PRO来定义,很大程度上取决于用户对VR的“现实”的主观态度。在当今世界,数字技术渗透到我们生活的方方面面,侵蚀了人类经验和技术影响之间曾经清晰的界限。
19世纪的技术(如水坝、运河或铁路)压倒了感官,阐明了个人在其力量中的渺小和无能为力的崇高体验(经典康德意义上的“崇高”,由Nye,1996应用于技术)。随着时间的流逝,新的技术分支涌现出越来越个性化和亲密的分支:不那么明显,不那么无机,不那么不自然,不那么遥远(有关评论,请参阅Wolfe,2018)。这种技术已经成为自我(一种与车辆或工具融为一体的感觉)和环境(正如人们可能会说:“我在这个社交媒体上”或“在那个视频游戏中见”)的不可分割和直观的延伸。数字角色扮演游戏的世界在模糊人类与技术的界限方面最为成功,将这两种扩展结合起来。它将这些游戏背后的难以理解的复杂制作、组装和计算简化为越来越无缝的用户体验。正是像数字领域的灾难性系统故障(如损坏的硬件)这样的事件带来了崇高的感觉,一个人的数字扩展自我被摧毁,人们意识到隐藏在背后的技术的不可理解性(Shinkle,2012)。
相反,瘫痪的用户可能会感到被他们的身体困住,与身体完全脱节。只有他们的数字扩展自我意识才能恢复联系,因为尝试的运动会导致感知的运动。在这里,数字扩展的自我的概念被翻转为一个物理上受限但虚拟原生的自我的叙述,使VR的前景成为一种吸引人的体验,可以恢复他们原本被拒绝的自然行为。
现实是物理的,完全在头脑中构建的,两者的结合,还是其他完全我们可能永远不知道的东西。根据每个用户的信念,他们可能更喜欢物理世界或虚拟世界,或者两者都不喜欢,而是将它们视为不同的(Loewen 定义的“数字二元论者”,2022 年),或者不进行这种区分(例如,Hayles,2013 年的“身心主义者”)。然后,这种信念可能会强烈影响用户对VR的主观欣赏,这是其影响其QOL(作为Motor BCI应用的一种)的关键因素。
关注我,一起探索元宇宙!
以上发布内容和图片的目的在于传播更多行业信息,版权归原作者所有,不为商业用途,如有侵犯,敬请与我们联系。