编辑荐语：当脑机接口开始读取人的情绪，一个更现实的问题随之而来：今天训练好的模型，到了明天、下周甚至更久之后，还能准确识别同一个人的情绪吗？
今天能够准确识别情绪的脑机接口，换一个时间还能保持同样可靠的表现吗？
情感脑机接口（affective brain-computer interface，aBCI）通过脑电等脑信号感知和识别人类情绪状态，在情绪监测、人机交互等领域具有重要应用潜力。然而，脑电信号具有时间非平稳性：即使来自同一用户，不同时间采集的信号也可能因神经状态或采集条件变化而发生分布漂移。这意味着，一个在当前数据上表现良好的情绪识别模型，换一个时间后，其判别能力可能明显下降。情感脑机接口真正“跨越时间”，成为其走向稳定应用必须解决的关键问题。
近日，天津大学医学院/脑机海河实验室刘爽团队在《国家科学评论》（National Science Review, NSR）发表研究论文，针对跨时间情绪脑电识别中的时间变异性问题，提出多层动态综合感知网络（Multi-level Dynamic Integrated Perception Network，MDIN），从情绪神经表征、动态功能连接和跨时间判别结构三个层面，对时间变异进行显式建模与结构校准，为长期稳定的情感脑机接口提供了新的技术路径（图1）。
图1 ｜ 多层动态综合感知网络总体架构。a时空频域联合感知模块（Temporal-Spatial-Spectral Joint Perception Module）；b自适应动态感知模块（Adaptive Dynamic Perception，ADP）；c任务驱动的判别对齐框架（Task-Driven Discriminative Alignment Framework，TDAF）。
从多维脑电信息中寻找稳定的情绪线索
情绪相关脑电活动并非由单一时间点、单个脑区或特定频段独立决定，而是不同时间、空间和频谱信息共同作用的结果。MDIN首先构建时空频联合感知模块（图2）。该模块利用双分支时间注意机制识别具有重要情绪信息的时间片段，同时通过空间注意机制捕捉脑区之间的局部与全局依赖关系，从而突出与情绪任务密切相关的时间节点和脑区，为后续动态脑网络建模提供更具判别性的特征表示。
图2 ｜ 时空频联合感知模块
显示建模脑网络连接随样本的动态变化
传统图卷积模型通常采用固定邻接矩阵描述脑区连接，难以反映不同情绪状态和不同采集时间下神经功能连接的动态变化。为此，研究团队提出自适应动态感知模块ADP，根据样本特征动态构建脑区连接，并通过稀疏化保留更有判别力的连接。与此同时，MDIN并未舍弃静态脑网络提供的稳定结构先验，而是利用门控融合机制，在连接层面自适应整合静态结构与动态连接（图3）。这一设计使模型既能够保留相对稳定的脑网络组织，又能够捕捉情绪诱发的局部、选择性功能重构，实现“稳定骨架”与“动态变化”的协同建模。
图3 ｜ 自适应动态感知模块权重可视化。a 静态邻接矩阵及ECPL通道权重；b ADP动态邻接矩阵及ECPL通道权重；c ECPL融合邻接矩阵；d ECPL空间注意力矩阵；e 静态邻接矩阵及SEED通道权重；f ADP动态邻接矩阵及SEED通道权重；g SEED融合邻接矩阵；h SEED空间注意力矩阵。在a、b、e和f中，右上方三角形表示通道间连接强度，左下方三角形表示MDIN学习到的通道权重。
对时间变异进行有选择的结构校准
在时间发生变化之后，模型又如何保持不同情绪之间原有的判别关系？MDIN进一步引入任务驱动判别对齐框架TDAF，利用扩散过程分离相对稳定的情绪模式与时间变异性扰动，并通过置信度、不确定性和类别中心结构等多项指标，对目标时间段的伪标签进行筛选和校正。该机制使跨时间对齐不仅关注整体特征分布，还保留不同情绪类别之间的判别边界。研究结果显示（图4），TDAF并不会无差别地增强所有连接，而是对不同连接实施具有选择性的调节：与不同情绪共享的稳定连接总体保持相对稳定，而与具体情绪相关的特异性连接则表现出更加明显的动态重构。同时，对于具有较高判别价值的时变连接，TDAF进行选择性增强；对于不稳定或判别能力较弱的连接，则实施抑制和校正。
图4 ｜ 情绪相关功能连接的边级组织模式。a TDAF前ECPL的双向功能连接模式; b TDAF后ECPL的对应功能连接模式; c TDAF诱导的ECPL连接增强差异图; d TDAF诱导的ECPL连接校正差异图; e TDAF前SEED的双向功能连接模式; f TDAF后SEED的对应功能连接模式; g TDAF诱导的SEED连接增强差异图; h TDAF诱导的SEED连接校正差异图。每个面板中，从左至右分别排列为：共性情绪相关连接和针对积极、中性、消极情绪的情绪特异性连接。连接按五个脑区进行组织：额叶、中央、颞叶、顶叶和枕叶（例如：P_s：顶叶静态权重；O_d：枕叶动态权重）。
从样本分布演化角度观察也得到了相同结论（图5）。随着双阈值筛选、多指标一致性约束及样本重平衡逐步实施，保留伪标签的可靠性持续提高，早期因时间变异造成的错误类别映射得到逐步修正。混淆矩阵结果进一步显示，TDAF能够降低易混淆情绪类别之间的误判，使不同情绪在判别空间中形成更加清晰的分离。
图5 ｜ MDIN中时间变异性抑制与判别性能演化。a 目标域到源域的跨域时间变化抑制与对齐；b目标域伪标签的双阈值筛选；c不同阶段保留的伪标签数量及准确率的变化；d多指标一致性锐化过程中的特征分布可视化；e TDAF处理前后在ECPL和SEED数据集上的分类混淆矩阵对比。
迈向长期稳定的情感脑机接口
该研究表明，跨时间情绪脑电识别的关键并不只是消除不同时间阶段之间的统计分布差异，更需要显式刻画情绪神经活动如何随时间变化，以及哪些动态变化应当保留、增强或校正。
MDIN为跨时间情感脑机接口提供了一种结构化解决方案，有望为心理状态监测、人机交互和个性化情绪干预等长期应用提供方法基础。
论文第一作者为闫非凡，天津大学医学院/脑机海河实验室刘爽教授、明东教授为共同通讯作者。该研究得到天津市杰出青年科学基金、国家自然科学基金以及天津市科技重大专项与工程等项目支持。
论文信息
Toward Sustainable Cross-Time Affective Brain–Computer Interfaces: Explicit Modeling and Structural Calibration of Temporal Variability
National Science Review, nwag544, https://doi.org/10.1093/nsr/nwag544
了解详情，请点击“阅读原文” ▼
https://doi.org/10.1093/nsr/nwag544