作者简介
董越
苏州念及智能科技有限公司脑机接口创新实验室主任、助理研究员，主要从事脑电图及信号处理、脑机接口、视觉听觉及其他感觉系统等方面的研究工作。
刘可
苏州念及智能科技有限公司算法工程师，主要从事视觉诱发电位和脑机接口应用等方面的研究工作。
王涛
苏州念及智能科技有限公司市场经理，主要从事脑机接口市场方面的研究工作。
论文引用格式：
董越, 刘可, 王涛. 基于混合模态的脑机接口技术应用:神经康复新方向[J]. 信息通信技术与政策, 2024, 50(5): 41-46.
基于混合模态的脑机接口技术应用：神经康复新方向
董越 刘可 王涛
（苏州念及智能科技有限公司，苏州 215000）
摘要：随着人口老龄化和慢性病患者增加，康复医疗领域面临着巨大挑战和机遇。非侵入式脑机接口技术作为一种创新的诊疗手段，为脑卒中等中枢神经受损导致运动失能的患病人群带来了新的希望。与传统康复训练相比，单一模态脑机接口技术具有激活感觉运动皮质、从大脑层面协助病人康复的优势，但单一模态各范式具有各自的局限性。混合模态是近年的研究热点，以两种范式相结合的方式来提升整体系统的可靠性和准确性。基于此，提出了一种新的运动-视觉混合模态脑机接口技术，该系统在在线实验中的平均分类准确率为86.67%，能够同时诱发运动皮层和视觉皮层的响应，有望成为主动康复、神经重塑的新范式。
关键词： 非侵入式脑机接口；康复医疗；视觉诱发电位；运动想象；混合模态
0 引言
近年来，随着人口老龄化趋势加剧、慢性病患者数量攀升，以及康复需求日益增长，康复医疗领域面临前所未有的挑战和压力。在此背景下，面向康复医疗领域的非侵入式脑机接口(Brain-Computer Interface, BCI)技术解决方案应运而生。
非侵入式BCI技术通过实时监测大脑活动，并将这些活动与特定康复任务相关联，促进患者重新建立损伤后的神经连接，学习新的运动模式，再加上与外部设备的高效交互，为康复医疗带来了更加智能化、个性化的治疗模式[1]。这种新兴技术不仅突破了传统治疗方法的局限，还为康复医疗领域提供了更精准、有效的治疗途径。
因此，深入探讨非侵入式BCI技术在康复医疗领域的应用现状及其未来发展趋势，对于推动康复医疗领域的创新与发展具有重要意义。本文旨在探讨非侵入式BCI技术在康复医疗领域的应用现状及未来发展趋势，以期为康复医疗领域的创新和进步提供参考。
1 康复医疗现状
我国60岁以上的人口数已达2.64亿，占总人口数的18.70%,这一比例相较于10年前显著增长了5.44%[2],且随着生育率的持续走低，这一数字仍在攀升。与此同时，我国康复需求的患者群体庞大，涵盖老年人群、术后人群、慢性病患者以及残疾人群，总计约4.6亿人[3]。以脑卒中为例，根据全球疾病负担(Global Burden of Disease, GBD)报告的数据，2019年我国新发的脑卒中病例数高达394万，脑卒中患者总数达到2 876万[4]。
大多数脑卒中、运动失能的患者有不同程度的运动功能障碍、语言功能退化和认知功能障碍，以至于无法顺畅地进行运动或沟通[5]。以手功能障碍患者为例，一方面患者正常生活受到严重影响，需要家属和医护人员进行日常照顾；另一方面，医生会给患者持续进行康复训练，包括传统康复中的针灸、推拿[6]，现代康复中的关节松动术治疗，以及理疗康复中的神经电刺激、蜡疗等方式[7]，其目的不仅是让手部功能恢复到正常状态，更是希望实现大脑运动功能的神经重塑。因为，患者发生功能障碍的“病根”在大脑。
通过康复治疗，90%的脑卒中患者能够重新恢复自理生活的能力，30%的脑卒中患者能够胜任较为轻松的工作[8]。而若不进行康复治疗，仅有6%的脑卒中患者能够恢复自理生活状态，5%能够重新投入较轻的工作。这一数据对比鲜明地凸显了康复治疗对于脑卒中患者的重要性。
康复机器人是近年来备受市场关注的高端康复医疗器械，属于机器人技术与医疗技术相结合的产物，被认为是特殊环境下的“可穿戴设备”，具备助残行走、康复治疗、减轻劳动强度等功能，能够帮助残疾患者重新恢复运动能力，带来回归社会的希望，也能够进一步减轻康复医师的工作负担[9]。
2 BCI技术在康复医疗领域的研究进展
2.1 非侵入式BCI技术
BCI康复机器人有助于进一步提升康复效果。资料表明，BCI结合外骨骼训练可激活脑卒中患者的感觉运动皮质，改善大脑可塑性，从而帮助患者恢复上肢及手功能[10]。
BCI康复机器人通常以运动想象(Motor Imagery, MI)范式为主。MI是个体通过心理活动来演练或模拟某种动作的过程，在体育训练中被广泛运用于行动的心理实践。在康复中，MI也被作为认知神经科学和认知心理学的研究范式，用来探究在执行动作之前潜在过程的内容和结构。大量的功能性神经影像研究表明，MI与早期运动控制所涉及的特定神经回路的激活相关，这些回路包括额外运动区、主要运动皮层、下顶叶皮层、基底神经节和小脑[11]。这样的生理数据强有力地支持了想象和运动准备的共同神经机制。Ang[12]团队招募了18名偏瘫病人并将病人随机分为两组，对比由MI信号驱动或被动驱动的常规MIT-Manus康复机器人对于康复效果的作用。实验证明MI信号驱动的康复机器人的康复效果优于被动驱动，梅尔氏评估(Fugl-Meyer Assessment, FMA)得分分别提高6分和4分[12]。Tung[13]团队设计了一种基于MI的BCI康复机器人并招募了6名偏瘫病人作为受试者，实验证明FMA得分的提升程度与BCI康复训练中的大脑激活度正相关。
在实际训练过程中，基于MI的BCI康复机器人面临着运动意图难以检测[12]、能够进行MI的人群相对有限[12-14]、训练时间过长[12-14]等问题。此外，个体差异对MI的脑电信号检测准确度影响较大，目前基于MI的系统设计能够区分的运动意图数量较少，一般仅能区分是否存在运动意图[12-13]，而无法区分更精细的动作，比如每根手指的单独运动。
除了基于MI的BCI康复系统，稳态视觉诱发电位(Steady-State Visual Evoked Potential, SSVEP)、视觉P300等范式也被尝试应用于康复领域[15-16]。SSVEP是一种常用的视觉诱发BCI范式，具有无需训练、高信噪比、高信息传输率等优点，普适性强，超过93%的人群可用。但其依赖于外界特定频率的视觉刺激来诱发信号，长时间使用会使受试者产生视觉上的不适和疲劳[15]。视觉P300具有少训练、高信息传输速率等优点，但单次P300响应的信噪比低，需要多次重复检测，该系统也需要外部刺激，并且在使用时需要精神高度集中，使用者不能分心[16]。单一模态的BCI技术具有各自的局限性。
2.2 混合模态非侵入式BCI技术
早在2010年，Allison等为了解决单一模式BCI系统可能会遇到“BCI盲”(即部分使用者的脑响应信号无法达到一定强度要求，因而无法使用对应的BCI系统)的问题，提出将MI和SSVEP相结合。实验结果表明，该混合系统比单一模态BCI系统的准确率更高，达到了81.0%[17]。该混合系统即运动-视觉混合模态，通过运动相关的视觉刺激同时激发运动皮层和视觉皮层的BCI范式。
与单一模态相比，混合模态系统的可行性在诸多研究中都得到了确认[14,18-20]。Shen[21]设计了一种基于SSVEP和运动相关皮质电位(Movement-Related Cortical Potentials, MRCPs)的BCI系统，该系统通过同时检测受试者是否存在运动意图及SSVEP信号来判断是否执行动作，其在线动作执行正确率为99.3%，能够加速运动神经回路的重建。McGeady[22]设计了一种基于MI和SSVEP的上肢康复系统，用以检测抓握、指、捏3种姿势的运动意图，该系统分别用支持向量机和功率谱密度对MI和SSVEP进行分类，取得了平均77.3%的分类准确率，并证明了混合模态系统比以往单一MI系统的分类准确率更高。
混合模态BCI技术能够弥补单一模态的局限性，视觉信号的加入极大提升了BCI康复系统的效率和分类准确率，但目前基于运动和视觉皮层信号的混合模态BCI仍然无法突破运动意图可识别数量有限的困境，运动-视觉混合模态系统大多以检测是否存在运动意图(二分类)为主[14,18,21-22]，而临床康复训练面临的问题则在于多种运动的执行和精细化训练。因此，本文设计了一种新的运动-视觉混合模态BCI手康复系统，尝试进行更精细的运动意图区分，将分类数量提升至6种，同时提高分类准确率。
3 运动-视觉混合模态的BCI手康复系统设计
本文设计了一种基于运动-视觉混合模态的BCI手康复系统。该系统能够诱发运动皮层和视觉皮层的脑电响应，在激活大脑的镜像神经元、提高大脑可塑性的同时快速解码视觉相关信号完成即时反馈。该系统采用的运动-视觉混合范式中的运动动画可激活运动皮层镜像神经元系统，可以促进患者对瘫痪肢体的注意力和感知；同时，其视觉范式也可诱发视觉皮层的快速响应，通过高速编解码算法，使用特征融合方法，实现运动皮层和视觉皮层脑电的联合解码，有效提高康复设备的响应速度，增加患者进行康复训练的主体感和自主性，从而提高训练的依从性和效果。
该系统包括呈现手部动作动画及BCI反馈的用户交互界面、脑电采集设备和脑电信号在线解码几部分。在使用该系统时，用户交互界面会提供6种不同的手部动作动画，包括5个手指的分别屈伸和手掌开合(见图1)，受试者通过系统提示集中注意观察并想象其中一个手部动作，脑电采集设备同步采集信号。系统对脑电信号进行预处理、提取特征并采用基于典型相关分析的分类方法对信号进行在线分类，再将分类结果转化为控制指令，自主控制康复器人进行手部动作，从而让受试者进行主动康复训练。
图1 手部动作动画界面
验证实验共招募了15位健康受试者参与该系统的在线实验。受试者年龄在24～32岁之间，均为右利手，视觉正常或已矫正为正常。所有受试者在实验前均已签署知情同意书。如图2所示，在实验过程中，受试者佩戴机械手套及采样率为1 000 Hz的高精度便携式脑电采集设备(LinkMe, 苏州念及智能科技有限公司)，并根据提示观看5 s手部动作动画，在5 s后，脑电信号分类结果通过视觉反馈给与受试者，同时机械手套根据控制指令进行相应的手部动作。以6个目标动作为一组，每位受试者都进行了20组在线测试及数据采集。在15位受试者中，有8位在5 s后达到平均90%以上的6目标分类准确率，其中表现最佳的受试者平均准确率为100%，表现最差的受试者平均准确率为69.47%(见图3(a))。15位受试者5 s的平均准确率为86.67%，在2 s时也能达到70%以上的平均准确率(见图3(b))。所有受试者的平均信息传输速率最高为24.56 bits/min(图3(c))。
图2 一位佩戴设备的受试者正在进行实验
图3 ITR随脑电数据长度的变化情况 (误差条为数据标准差)
实验证明，本文提出的基于运动-视觉混合模态的BCI手康复系统能够区分较为精细的运动意图，实现6种手部动作的控制。与以往二分类或三分类的单一MI或者运动混合BCI系统相比，该系统能够提供更高效的康复训练内容，促进患者重建运动神经回路；与以往单一枯燥的稳态视觉诱发电位或视觉P300范式相比，该系统将手部动作动画作为视觉刺激，能够减少视觉疲劳，同时激活镜像神经元，提供一种自然的训练策略。
4 结束语
本文探讨了非侵入式BCI技术在康复医疗中的应用及新的混合模态BCI技术。BCI技术通过监测大脑活动，激活患者的感觉运动皮质，改善大脑可塑性，从而帮助其四肢的功能恢复。研究发现，单一模态BCI系统相比常规康复手段具有一定的优势，同时也面临各种局限性。混合模态BCI技术可以弥补单一模态系统的不足，结合不同的范式来提高系统的响应速度和准确率。最后，本文介绍了一种新的运动-视觉混合模态BCI技术，通过运动动画激活运动皮层、通过视觉诱发信号的快速解码来提高反馈效果。实验结果表明，该系统在性能方面较传统MI-BCI系统有显著提升，可有效解决“BCI盲”难于使用BCI系统的难题，有望在未来进一步提升BCI技术在神经康复领域的应用效果，改善人民群众生命健康状况。
Application of brain-computer interface based on hybrid modalities: a new direction in neural rehabilitation
DONG Yue, LIU Ke, WANG Tao
(Suzhou Nianji Intelligent Technology Co., Ltd., Suzhou 215000, China)
Abstract: As the aging population and the number of patients with chronic diseases increase, the field of rehabilitation medicine faces both significant challenges and opportunities. Non-invasive brain computer interface (BCI) technology, as an innovative diagnostic and therapeutic tool, brings new hope to patients with motor disabilities caused by central nervous system damage such as stroke. Compared to traditional rehabilitation training, single-modal BCI technology has the advantage of activating sensory-motor cortex and assisting patients’ rehabilitation from a brain-level perspective, but each single-modal paradigm has its limitations. Hybrid modalities have been a recent research focus, aiming to improve the overall system’s reliability and accuracy by combining two modalities. Based on this, a novel motor-visual hybrid modality BCI technology is proposed, with an average classification accuracy of 86.67% in online experiments. It can simultaneously evoke responses from the motor cortex and visual cortex, and is expected to become a new paradigm for active rehabilitation and neural reshaping.
Keywords: non-invasive BCI; neural rehabilitation; visual evoked potentials; motor imagery; hybrid modalities
本文刊于《信息通信技术与政策》2024年 第5期
主办：中国信息通信研究院
《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“ 信息通信技术前沿的风向标，信息社会政策探究的思想库 ”，聚焦信息通信领域技术趋势、公共政策、 国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。
期刊荣誉与收录情况
AMI（2022版）A刊扩展期刊
RCCSE中国核心学术期刊
入选中国科协信息通信领域高质量科技期刊分级目录
为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊官方网站（http://ictp.caict.ac.cn）已正式投入运行，欢迎投稿！
推荐阅读
