题目：An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer
论文地址：https://www.nature.com/articles/s41467-024-53450-8
创新点
-
提出多模态反应预测（MRP）模型，融合乳腺X线摄影、MRI、组织病理学、临床及个人特征数据，用于预测乳腺癌患者对新辅助治疗（NAT）的反应。
-
采用跨模态知识挖掘策略，利用图像特征预测其他模态信息，增强特征提取与多模态整合能力，提升模型性能。
方法
研究开发并验证了一种名为多模态反应预测（MRP）的系统，旨在通过整合放射影像（乳腺X线摄影和MRI）、组织病理学、临床变量及患者个人数据，提升对乳腺癌新辅助治疗反应的预测准确性。系统采用深度学习技术，结合跨模态知识挖掘与时间信息嵌入策略，增强模型鲁棒性。通过多中心及国际读者研究评估MRP性能，并与放射科医生诊断结果对比，验证其在临床决策支持中的应用潜力。
乳腺癌新辅助治疗路径
该图展示了乳腺癌新辅助治疗（NAT）全流程，分为治疗前（Pre-NAT）、治疗中（Mid-NAT）和治疗后（Post-NAT）三个阶段。Pre-NAT阶段包括影像筛查、活检、组织病理分析及分期MRI检查，确定cTNM分期；Mid-NAT阶段通过中期MRI评估疗效并调整治疗方案；Post-NAT阶段通过术后组织学检查评估是否达到病理完全缓解（pCR），依据ypT和ypN标准进行病理分期。整个流程强调多源信息（影像、病理、临床和个人数据）的整合，以实现精准疗效评估。
MRP系统工作流程
MRP系统由两个独立模型组成：iMGrhpc基于治疗前乳腺X线摄影（MG）与rhpc变量（放射学、病理、临床和个人数据）进行预测；iMRrhpc则结合rhpc数据与包含时间信息的纵向MRI序列（基线与随访图像），模拟医生对动态影像的评估过程。最终，MRP整合两者的pCR预测概率，提供更全面的判断。系统在内部数据集（荷兰癌症研究所）训练，并在杜克大学、福建医科大学附属协和医院及I-SPY2三个外部数据集上验证泛化能力。
MRP系统性能对比
图示展示了MRP系统在Pre-NAT、Mid-NAT和Post-NAT三个阶段的预测性能，采用AUROC和AUPRC指标评估。结果显示，MRP在各阶段均优于基线模型和放射科医生平均表现，尤其在早期识别无反应患者和后期确认pCR方面表现出色，具备辅助临床决策的潜力。
实验结果
实验评估了多种模型在内部及三个外部测试集上的表现，包括rhpc、iMGrhpc、iMRrhpc及MRP系统。MRP在所有数据集中均取得最优性能，在Pre-NAT阶段AUROC平均提升约11%，AUPRC提升约10%。其在不同治疗阶段均保持高预测精度，且在跨机构、跨国数据中展现出良好泛化能力。相比之下，单模态或部分多模态模型性能有限。结果表明，多模态数据融合显著提升预测准确性，验证了MRP系统的临床应用价值。