Nature communications（一区IF=15.7）|可解释性纵向多模态融合模型用于预测女性乳腺癌患者新辅助治疗反应



Nature communications（一区IF=15.7）|可解释性纵向多模态融合模型用于预测女性乳腺癌患者新辅助治疗反应

瓴智医学AI

2025-08-17

导读：研究针对乳腺癌新辅助治疗（NAT）反应预测中多模态数据整合与临床适用性的挑战，提出了一种可解释的纵向多模态融合模型——MRP系统。

本文题为《An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer》，由Yuan Gao、Sofia Ventura-Diaz、Xin Wang等来自荷兰癌症研究所、马斯特里赫特大学医学中心、哈佛医学院等机构的国际团队共同完成。该研究针对乳腺癌新辅助治疗（NAT）反应预测中多模态数据整合与临床适用性的挑战，提出了一种可解释的纵向多模态融合模型——MRP系统。该系统通过结合跨模态知识挖掘和时间信息嵌入策略，整合了乳腺X线摄影、MRI影像及临床病理数据，能够处理缺失模态并适应不同治疗阶段的需求。在包含3352名患者的多中心验证中，MRP在预测病理完全缓解（pCR）时表现出色，Pre-NAT阶段的AUROC达0.883（较基线模型提升14%），性能优于6名国际乳腺放射科医生。此外，决策曲线分析表明，MRP可帮助35.8%的非pCR患者在治疗早期调整方案，并为16.7%的pCR患者避免不必要的手术。该研究为乳腺癌个性化治疗决策提供了可临床部署的AI工具，显著提升了治疗响应预测的准确性和实用性。

01 摘要

基于深度学习的多模态影像分析为乳腺癌NAT疗效监测奠定了基础。然而现有方法主要聚焦于通过提取多模态特征提升预测性能，对真实临床适用性的考量不足——尤其针对多模态数据纵向随访的NAT场景。本研究提出的多模态疗效预测系统（MRP）创新性地模拟真实医疗场景中医生评估NAT疗效的决策流程。该系统通过跨模态知识挖掘与时序信息嵌入策略，有效处理模态缺失问题并降低不同NAT方案的影响，显著提升临床可行性。多中心研究和国际读者研究验证表明：MRP系统展现出与乳腺放射科医生相当的稳健性，且在NAT前阶段预测病理完全缓解的效能显著优于人类专家。

02 研究背景

乳腺癌是全球女性最常见的癌症，NAT是局部晚期或可手术乳腺癌的标准治疗方案。病理完全缓解（pCR）是评估NAT疗效的关键指标，与患者生存率显著相关。然而，现有方法在预测pCR时面临多模态数据整合不足、临床适用性有限等挑战，尤其在纵向治疗场景中难以灵活处理缺失数据或不同治疗阶段的需求。

图乳腺癌新辅助治疗临床路径

目前，基于单一时间点影像或临床特征的预测模型性能有限，且缺乏对多中心数据的泛化验证。此外，传统方法未充分考虑临床决策的实际需求，例如在治疗早期识别无效疗法或在术后阶段精准筛选pCR患者以减少不必要的手术。因此，亟需开发一种能够整合多模态数据、适应临床路径且具备高解释性的预测系统，以优化乳腺癌NAT的个性化管理。

本研究旨在通过深度学习技术，构建一个可解释的纵向多模态融合模型，模拟临床医生评估流程，同时解决数据缺失和跨中心泛化问题，从而为乳腺癌患者的治疗决策提供更精准的AI支持。

03 模型设计

图 MRP系统架构示意图

研究旨在构建一个可解释、适应临床场景的多模态融合模型，整合乳腺癌NAT全周期的影像（乳腺X线、MRI）、临床病理数据（分子分型、肿瘤分级等）及人口统计学特征，预测pCR。模型主要架构如下：

1.多模态融合框架

（1）双分支独立模型：

iMGrhpc：整合Pre-NAT阶段的乳腺X线影像与结构化临床病理数据（rhpc），通过2D-ResNet18提取MG特征，并与嵌入后的rhpc特征（如分子分型、肿瘤分级）进行多层感知机融合。其核心优势在于利用广泛可及的MG筛查数据，即使缺少MRI时仍能提供可靠预测（AUROC=0.83）。

iMRrhpc：通过3D-ResNet18处理纵向MRI（Pre/Mid/Post-NAT），创新性地嵌入治疗阶段的时间信号（如one-hot编码），使模型能区分不同时间点的影像特征差异。

（2）集成策略：通过加权融合iMGrhpc和iMRrhpc的预测概率，优化最终pCR预测。

2.跨模态知识挖掘

在临床实践中，多模态数据（影像、病理、临床等）的采集常存在缺失或不完整的情况。传统多模态模型通常要求完整输入，限制了临床适用性。MRP通过跨模态知识挖掘，使模型能够从现有模态推断缺失信息并增强特征表示。

(1) 网络架构设计

主干特征提取器：采用预训练的3D-ResNet18和2D-ResNet18作为影像编码器，提取高层视觉特征。

跨模态预测头：在影像编码器后附加多个并行分支的MLP（多层感知机），每个分支对应一个待预测的模态属性。例如：用MRI特征 → MLP → 预测ER/HER2状态（分类任务）或肿瘤大小（回归任务）。

联合训练目标：主任务（pCR预测）和辅助任务（跨模态预测）的损失加权求和。

(2)知识传递机制

特征共享：影像编码器的参数在主任务和辅助任务间共享，迫使网络学习与病理/临床关联的通用特征。

梯度协同：辅助任务的梯度反向传播会调整编码器，使其提取的特征既适合pCR预测，又能解释其他模态信息（类似多任务学习）。

04 实验设置

1.数据集

（1）内部数据集（荷兰癌症研究所，2004–2020）

数据集包含4,802例乳腺X线摄影（MG）检查和3,719例动态增强MRI检查（覆盖新辅助治疗前[Pre-NAT]、治疗中[Mid-NAT]和治疗后[Post-NAT]三个阶段），同时整合了详细的临床病理数据（如分子分型、肿瘤分级、治疗方案等）。

划分：80%训练，10%验证，10%测试（120例，含完整多模态数据）。

（2）外部验证集

2.对比基线

(1)单模态模型（rhpc）

输入:仅结构化数据，包括放射学特征（肿瘤位置、多灶性）、病理特征（分子分型、组织学类型）与临床特征（cTNM分期、治疗方案）。

架构：多层感知机（MLP），通过特征嵌入和全连接层预测pCR。

目的：作为性能下限，量化影像模态的附加价值。

（2）多模态模型：iMGrhpc（MG+rhpc）、iMRrhpc（MRI+rhpc）。

（3）人类医生对比

设计：由6名来自荷兰、美国、中国等不同国家、具有2-12年经验的乳腺放射科医生独立完成阅片评估。医生们基于提供的MRI影像和临床资料（包括分子分型、治疗方案等），模拟真实临床诊断流程，对患者达到pCR的概率进行连续值预测（0-1分）。

评估方式：

A. 双盲设置：医生不知病理结果，模型预测结果不公开。

B. 分阶段评估：Pre-NAT、Mid-NAT、Post-NAT分别评分，模拟动态决策。

3.评估指标

（1）主要指标：

AUROC：衡量模型区分pCR与非pCR的能力，重点关注高特异性区间（因临床需减少假阳性）。

AUPRC：针对pCR样本不均衡（约20–30% pCR率），更关注正类预测精度。

敏感性/特异性：

Pre-NAT阶段：优先高特异性（避免误判非pCR患者为pCR）。

Post-NAT阶段：优先高敏感性（避免漏诊pCR患者）。

PPV/NPV：结合患病率，评估模型在真实人群中的实用价值。

（2）临床效用分析：决策曲线分析（DCA），量化模型对治疗决策的净收益。

方法：设定阈值概率（如10%–30% pCR概率），计算净收益：

其中pt为阈值概率。

05 结果与分析

1.整体模型性能

MRP 在内部 120 例测试集中全程 AUROC 保持在 0.88–0.89，显著优于仅用临床-病理-个人变量的 rhpc 模型（ΔAUROC>10%，p=0.003）；在美国 Duke 单中心、中国福建医院及 I-SPY2 三个外部队列亦分别达 0.797、0.821–0.842 与 0.829，稳健提升且均优于传统方法。

与放射科医师对比，在 Pre-NAT 阶段，六位国际认证乳腺放射科医师平均 AUROC 仅 0.740，MRP 以 0.14–0.37 的显著优势全面超越所有医师（p<0.001）；在 Mid- 和 Post-NAT 阶段，MRP 仍保持显著领先，分别优于 4/6 位阅片医师（p<0.05）。

2.特征贡献与可解释性

系统评估各变量贡献，结果显示：分子亚型、原位癌存在与否、肿瘤分化及组织学类型等组织病理学特征对 pCR 预测权重最高；MRI 和钼靶所反映的乳腺密度、多灶/多中心表现及增强模式等影像特征提供额外增益；而 BRCA1/2、TP53 等个人或基因突变信息在模型中未发现显著独立影响。

图多模态特征重要性排序

3、亚组分析

（1）分子亚型分析总结

图各分子亚型pCR率与模型性能热图

研究显示，TNBC和HER2+乳腺癌亚型的pCR率显著高于Luminal A型（TNBC: 50.1%, OR=7.02; HER2+: 54.9%, OR=9.18），这与它们对化疗和靶向治疗的高敏感性一致。MRP模型在这些亚组中表现优异，且通过特征重要性分析验证了其对分子分型的依赖，表明模型能精准捕捉生物学差异驱动的治疗响应。

（2）组织学类型分析总结

导管癌的pCR率（36.2%）显著高于小叶癌（6.2%），因前者具有更高的增殖活性和异质性。MRP通过影像特征（如导管癌的局灶性强化与小叶癌的非肿块强化）有效区分两者，且未因小叶癌的低pCR率产生预测偏差（特异性>80%），说明模型能平衡组织学差异对预测的影响。

（3）肿瘤多灶性分析总结

多灶性肿瘤的pCR率（24.1%）明显低于单灶肿瘤（41%），可能与化疗药物分布不均有关。MRP通过3D ResNet-18捕捉多灶性空间特征，准确预测其低pCR概率，为临床制定局部强化治疗提供了依据。模型在所有亚组中保持稳定，无显著性能下降。

4、临床效用分析

Pre-/Mid-NAT 阶段：以 10% 风险阈值为界，MRP 每 1000 例患者可避免约 220 例无效治疗，且不遗漏任何 pCR 患者。

图 MRP的决策曲线分析

Post-NAT 阶段：同样阈值下，每 1000 例可识别 132 例 pCR 患者，为“降阶梯手术”临床试验提供可能。

随着阈值升高，净获益持续增加，提示模型在不同风险偏好场景下均具临床价值。

5、消融实验

（1）去除跨模态知识挖掘模块

图消融实验性能对比

当移除跨模态知识挖掘模块后，模型在外部验证集的AUROC平均下降7.6%，其中Duke数据集下降幅度最大（8.6%）。这一结果表明，该模块通过利用影像特征预测其他模态数据，显著增强了模型对缺失数据的适应能力，从而提升了跨中心泛化性能。尤其在样本量较小的亚组（如BRCA突变患者）中，性能下降更明显，说明跨模态学习对罕见特征的捕捉至关重要。

（2）去除时间嵌入模块

在纵向MRI场景中，移除时间嵌入导致AUROC下降5–15%，其中Post-NAT阶段性能损失最显著。这证实了时间信息能有效建模治疗响应动态变化。消融实验还显示，时间嵌入对多灶性肿瘤的疗效预测尤为关键，因其能捕捉病灶分布的时空异质性。这一发现强调了在纵向治疗中整合时序特征的必要性。

06 结论

研究开发的多模态融合模型MRP通过整合乳腺X线、MRI和临床病理数据，创新性地采用跨模态学习和时间嵌入策略，实现了乳腺癌新辅助治疗响应的高精度预测（AUROC 0.889）。模型在内部和外部多中心验证中均显著优于放射科医生（ΔAUROC达15.9%），并展现出对缺失数据和不同治疗阶段的强大适应性。亚组分析证实其生物学合理性，能准确识别TNBC/HER2+等高响应亚型（OR 7-9倍）和导管癌等组织学特征。决策曲线分析表明，MRP可优化35.8%患者的治疗方案选择，减少16.7%不必要手术，为临床决策提供了可靠依据。该研究不仅推动了AI在乳腺癌精准治疗中的应用，其多模态融合框架更为其他癌症的疗效预测提供了重要范式。

07 论文评价

✅方法创新亮点

1.首创纵向多模态融合框架

提出首个整合乳腺X线、动态增强MRI（Pre/Mid/Post-NAT）及临床病理数据的AI系统，通过双分支模型实现全周期治疗响应预测，支持缺失模态输入，临床适用性显著优于现有单时间点模型。

2.跨模态知识挖掘与时间嵌入

跨模态学习：在影像特征提取层附加辅助任务，提升模型对影像特征的利用率，外部验证中AUROC平均提高7.6%。

动态时间编码：通过治疗阶段标签嵌入纵向MRI的时空信息，使模型灵活适应不同随访场景。

3.临床实用性与可解释性突破

决策优化：DCA分析显示，MRP可减少35.8%无效治疗和16.7%不必要手术，直接关联临床决策流程。

特征归因：综合梯度量化关键贡献因子，揭示TNBC/HER2+高响应的生物学基础。

4.跨中心泛化验证

在欧、美、亚多中心数据中保持稳定性能，首次证明AI模型对设备、人群和治疗协议差异的鲁棒性。

⚠方法不足

首先，数据来源于单中心回顾性队列，可能引入选择偏倚，且高难度病例占比较高，限制了模型在社区医院的泛化性；其次，虽然纳入了多模态影像数据，但未整合超声这一临床常用检查手段，影响了模型的全面性；第三，研究未评估模型预测结果与患者长期生存结局的关联，无法验证其预后价值；最后，尽管进行了多中心外部验证，但不同数据集间的采集协议差异可能未被完全消除，需进一步标准化。

08 参考资料

论文链接：

https://www.nature.com/articles/s41467-024-53450-8

代码链接：

https://github.com/yawwG/MRP/