大数跨境

Nature Biomedical Engineering(一区,IF=26.3)NeuroSTORM:面向功能磁共振 fMRI 的通用基础模型

Nature Biomedical Engineering(一区,IF=26.3)NeuroSTORM:面向功能磁共振 fMRI 的通用基础模型 瓴智医学AI
2026-10-04
10
导读:Nature Biomedical Engineering(一区,IF=26.3)NeuroSTORM:面向功能磁共振 fMRI 的通用基础模型
本文题为《Towards a general‑purpose foundation model for functional MRI analysis》由 Cheng W 等多位学者共同完成,作者单位包括北京大学医学部以及海内外多家高校、医学科研机构。传统 fMRI 分析依赖繁琐手工预处理,不同中心可复现性差,现有模型多为任务定制,缺少通用基础模型。针对上述问题,该研究构建 NeuroSTORM 功能磁共振通用基础模型,直接对原始四维 fMRI 时序影像端到端自监督预训练,依托超 5 万名被试、2865 万帧多中心 fMRI 数据,采用移位窗口 Mamba 与时序冗余丢弃模块,搭配轻量化提示调优适配多类下游任务;在人口学、脑表型、疾病诊断、身份重识别、脑状态分类五大任务取得 SOTA,在多国队列实现 17 种神经系统疾病有效诊断,具备跨年龄、跨中心泛化能力,为 fMRI 标准化可复现分析提供新的基础模型范式。

01 摘要

功能磁共振 fMRI 是解析脑功能、神经精神疾病评估的重要手段,但现有分析流程依赖繁琐、多步骤人工预处理,不同中心可复现性差,多数模型为任务定制模型,泛化受限。本文提出 NeuroSTORM 通用 fMRI 基础模型,直接以原始四维 fMRI 体积作为输入,无需传统复杂预处理;依托多中心 5 万 + 被试、2865 万帧时序 fMRI 数据完成大规模自监督预训练。模型使用移位窗口 Mamba 主干网络与时序冗余丢弃模块捕捉脑时空动态信号,搭配轻量提示调优策略快速适配下游任务。在人口统计学预测、脑表型预测、疾病诊断、身份重识别、脑状态分类五大任务取得最优性能;多国多中心临床队列针对 17 种神经系统疾病实现有效诊断,同时可以预测认知、心理行为表型。该研究证明直接从原始四维 fMRI 学习的基础模型,可实现跨中心、跨年龄泛化,推动 fMRI 分析走向标准化、可复现。

02 研究背景

一、研究问题


1.传统 fMRI 分析高度依赖多步人工预处理,预处理参数选择会显著改变最终特征,造成结果可复现性差。
2.现有 fMRI 机器学习大多为任务定制模型,每类任务需要重新训练,缺少通用基础模型。
3.多数模型输入依赖预处理后的功能连接矩阵,丢失原始四维时序动态信息。
4.模型跨中心、跨年龄段泛化能力不足,在多中心真实临床队列性能衰减明显。
5.缺少统一基准同时评测人口学、表型、疾病、脑状态等多样化 fMRI 下游任务。

二、相关工作


1.传统 fMRI 分析流程:依赖配准、平滑、去噪等手工预处理,构建功能连接矩阵做统计或者机器学习,人为引入偏差。

2.脑 MRI 基础模型:大多针对结构 T1/T2 加权静态图像,很少处理四维时序 fMRI 数据。
3.fMRI 专用深度学习模型:大多任务专属,需要预处理后特征作为输入,缺少通用预训练范式。
4.时序模型 Transformer/Mamba 在脑影像:用于脑电等时序信号,但较少大规模应用于四维 fMRI 容积。

03 模型设计


1.输入范式:直接输入原始四维(空间 + 时间)fMRI 容积,不需要传统 fMRI 全套预处理流水线,仅做简单尺寸归一化。
2.主干网络 Shifted‑Window Mamba:移位窗口 Mamba 骨干,高效对四维 fMRI 时空信号建模,捕捉脑区长距离动态功能交互,降低计算开销。   
3.核心模块:时空冗余丢弃(Spatiotemporal Redundancy Dropout):抑制 fMRI 信号中大量重复冗余信息,强迫模型学习有区分度的脑动态模式。  
4.预训练目标:自监督表征学习,学习脑活动时空动态隐向量;输出固定维度 fMRI 全局嵌入。
5.下游适配策略:轻量化 Prompt Tuning 提示调优:冻结主干,仅更新少量提示参数,快速迁移到各类下游任务,不需要全量微调大模型权重。

图 1 五大下游任务示意图、模型表征可视化图

6.预训练数据集:多中心汇总数据集,50000 + 被试,年龄 5‑100 岁;合计 2865 万帧 fMRI 时序帧,涵盖健康人群与各类神经疾病。

04 实验设置


一、数据集划分


  1. 预训练集:多中心汇总 5 万 + 被试 fMRI;

  2. 内部测试基准:五大任务:人口统计学预测、脑表型预测、神经系统疾病诊断、身份重识别、脑状态分类;

  3. 多国独立外部临床队列:17 种神经系统疾病,用于跨中心泛化验证。

二、对比基线


传统 fMRI 功能连接机器学习;基于 CNN/Transformer 的 fMRI 专用模型;现有脑结构 MRI 基础模型。

三、评测任务集合


  1. 人口学预测:年龄、性别预测;

  2. 脑表型预测:认知、心理行为表型回归;

  3. 疾病诊断:17 类神经、精神疾病分类;

  4. 身份重识别:个体 fMRI 样本匹配;

  5. 脑状态分类:不同任务态、静息态脑功能状态识别;

  6. 消融实验:主干网络选择、时空冗余丢弃模块、提示调优策略;跨年龄、跨中心泛化能力测试。

图2 各任务指标汇总、跨中心泛化对比柱状图

四、统计方法


AUROC、MAE、准确率;bootstrap 计算 95% 置信区间。

05 结果与分析


1.五大基准任务综合表现


NeuroSTORM 在五大类 fMRI 下游任务整体性能全部优于对比基线;轻量化提示调优即可达到高性能,不需要全模型微调。
2.疾病诊断外部多中心验证
在 17 种神经系统疾病的多国独立临床队列取得最优诊断效果。
3.脑表型预测
可以较好预测认知、心理行为相关表型,挖掘 fMRI 中行为相关信号。
4.泛化性能
跨年龄(5‑100 岁)、跨采集中心、不同扫描设备条件下性能下降幅度小,泛化优于基线。
5.消融结果
Shifted‑Window Mamba 主干、时空冗余丢弃模块均带来明显性能增益;直接使用原始四维 fMRI 输入优于经过传统预处理得到的特征输入。

06 结论

本研究提出 NeuroSTORM,一款面向功能磁共振 fMRI 的通用基础模型,实现原始四维 fMRI 时序影像端到端自监督学习,摆脱传统繁琐预处理流程。基于 5 万余名被试、2865 万帧多中心 fMRI 数据预训练;通过轻量化提示调优高效适配人口学、表型、疾病诊断、身份重识别、脑状态分类五大类任务;多国多中心队列对 17 种神经系统疾病取得优秀诊断效果,具备跨年龄、跨中心泛化能力。NeuroSTORM 为 fMRI 提供标准化、可复现的基础模型分析范式。局限:仍然依赖 fMRI 图像质量,运动伪影会干扰模型;预训练数据以公开回顾数据集为主,仍需要更大规模真实临床前瞻性队列进一步验证。

07 论文评价

✅方法创新亮点

  1. 端到端原始四维 fMRI 学习范式,摆脱传统 fMRI 复杂手工预处理流水线,减少预处理引入的人为偏差。
  2. Shifted‑Window Mamba 主干 + 时空冗余丢弃模块,高效建模脑时空动态信号;轻量化提示调优,下游任务适配成本低。

  3. 构建覆盖五大方向的统一 fMRI 任务基准;大规模多中心预训练,同时做多国临床外部队列验证,完整证据链。

  4. 证实 fMRI 基础模型可以跨年龄、跨采集中心泛化,对神经精神疾病、认知表型都有效,为脑科学、神经影像 AI 提供新底座。

⚠方法不足

对 fMRI 运动伪影、图像噪声比较敏感;没有完全解决扫描质量差样本的鲁棒性问题。预训练以公开回顾数据集为主,缺少大样本单中心前瞻性临床队列;尚未完成临床落地验证。模型可解释性分析较为有限,对模型学到的脑生理机制还需要进一步挖掘。

08 参考资料

Article:

DOI:10.1038/s41551‑026‑01866‑y

图文:陈宣辰

编辑:陈宣辰

审核:吴朝


Nature Medicine(一区 IF=52.5)PRISM2:具备临床对话能力的端到端多模态病理全切片基础模型


Nature Medicine(一区 IF=52.5)对MASLD中脂肪性肝炎和纤维化相关影像及血清诊断生物标志物的前瞻性验证:LITMUS影像研究


Nature(一区 IF=56.1)Merlin:面向 CT 的 3D 视觉‑语言基础模型及配套数据集


JACC(一区 IF=22.3)基于人工智能无造影心脏磁共振 VNE 技术评估心肌瘢痕:一项前瞻性多中心研究

【声明】内容源于网络
0
0
瓴智医学AI
分享医学人工智能前沿知识,搭建跨学科研究、合作及应用转化平台。致力于医学人工智能技术、研发及科研,提供医学人工智能全方位服务。
内容 85
粉丝 0
瓴智医学AI 分享医学人工智能前沿知识,搭建跨学科研究、合作及应用转化平台。致力于医学人工智能技术、研发及科研,提供医学人工智能全方位服务。
总阅读2.5k
粉丝0
内容85