将 ScienceAI 设为星标
第一时间掌握新鲜的 AI for Science 资讯
作者丨论文团队
编辑丨ScienceAI
上海人工智能实验室联合清华大学、剑桥大学等机构，正式发布全球首个统一脑电（EEG）与脑磁（MEG）信号的基础模型——BrainOmni。该模型通过创新注意力机制模拟脑科学中的源重构过程，并首次引入传感器真实物理属性（坐标、方向、类型）替代传统通道命名，实现跨设备、跨模态兼容。基于1997小时EEG和656小时MEG的大规模自监督预训练，BrainOmni在9项下游任务中超越现有基础模型与专用模型，展现出强大的零样本跨设备泛化能力。研究成果已引起牛津大学、法国国家科学研究中心、美国可穿戴脑磁图企业等多家国际机构关注并收到合作邀请。
论文链接：https://arxiv.org/abs/2505.18185
开源链接：https://github.com/OpenTSLab/BrainOmni
BrainOmni：统一 EEG-MEG 的脑基础模型
神经元活动是大脑功能的核心载体，其精准测量对理解认知机制、解码多模态刺激响应及神经疾病诊断具有重要意义。EEG 和 MEG 作为非侵入式脑活动监测手段，分别通过记录神经电流产生的电信号与磁场信号间接反映大脑状态，具备安全性高、应用前景广等优势。
尽管二者同源，但长期以来被独立建模。由于不同设备在通道数量、布局、朝向和传感器类型上的异构性，现有模型通常局限于特定设备或任务，难以实现跨平台泛化。虽然近期出现了一些针对EEG的基础模型探索，但仍依赖固定通道命名体系，无法适应多样化数据结构；而MEG因系统复杂且公开数据稀缺，尚未形成基础模型研究体系。
BrainOmni 首次实现 EEG 与 MEG 在统一特征空间内的联合预训练，支持跨模态、跨设备、跨任务、跨被试的通用表征学习，在多项下游任务中表现领先。同时提出 BrainTokenizer 模块，将连续脑信号压缩并量化为离散神经词元，为“脑信号语言建模”提供关键技术路径。
卓越性能与强泛化能力
下游任务全面领先
在运动想象、情绪识别、异常检测、抑郁识别、阿尔茨海默症、帕金森病、自闭症等9项跨被试任务中，BrainOmni 均优于专家设计模型及已有EEG基础模型。
表：八个 EEG 数据集上 BrainOmni 与 baseline 的比较。
表：MEG 和 EMEG 数据集上 BrainOmni 与 Baseline 的比较。
零样本跨设备泛化
在训练过程中未接触的EEG/MEG设备上，BrainTokenizer 展现出稳定的信号重建效果，验证了模型对未知设备的强大适应能力。
表：BrainTokenizer在零样本设备数据的重建结果。
脑电磁模态协同增益
相比单一模态预训练，EEG与MEG联合训练带来稳定性能提升，证实同源信号联合建模的有效性。
表：联合EEG/MEG预训练与单独进行EEG或MEG训练的比较。
核心技术：潜在源变量建模与神经词元离散化
BrainTokenizer：统一异构数据表示
研究团队提出 Sensor Encoder 模块，对传感器物理特性进行可学习建模，显式注入设备信息以兼容多样化采集系统。受脑科学中源活动估计方法启发，假设所有外部电磁信号由一组共享的潜在神经源变量驱动，通过映射至统一特征空间，实现EEG与MEG信号的同构表达，并将连续源特征离散化为“神经词元”序列。
图：BrainTokenizer架构
BrainOmni：基于神经词元的自监督学习
利用BrainTokenizer生成的神经词元序列，采用掩码语言建模范式进行自监督训练，使模型学习高层语义表征，显著增强对复杂神经活动的理解能力。
图：BrainOmni架构
推动脑机接口发展，构建全模态AGI4Science组件
脑机接口已被列入国家“十五五”规划重点发展方向，其产业化进程依赖算法、硬件与临床的深度融合。EEG/MEG凭借无创、可穿戴、高时空分辨率等优势，成为拓展应用场景的关键技术路径。
BrainOmni 突破了多模态融合与跨设备通用性的长期瓶颈，为缓解MEG数据稀缺问题提供了新思路。目前，上海AI实验室正与国内外机构合作，持续推进“通专融合”技术路线，逐步整合侵入式脑电、神经影像等更多模态信息。
未来，该系列模型将与上海人工智能实验室『书生』大模型Intern-S1及科学发现平台Intern Discovery深度融合，发展为支撑脑机接口研究与临床应用的全模态AGI4Science核心组件之一。