eBioMedicine：CT(肿瘤+淋巴结) + 病理多模态融合预测 HPV 相关口咽癌预后

eBioMedicine：CT(肿瘤+淋巴结) + 病理多模态融合预测 HPV 相关口咽癌预后

一、文章基本信息

1. 题目：Deep learning informed multimodal fusion of radiology and pathology to predict outcomes in HPV-associated oropharyngeal squamous cell carcinoma（深度学习驱动的影像学与病理学多模态融合，用于预测 HPV 相关口咽鳞状细胞癌结局）
2. 作者：共同第一作者： Bolin Song（佐治亚理工学院与埃默里大学）、Amaury Leroy（Therapanacea） 通讯作者： Anant Madabhushi 教授（佐治亚理工学院与埃默里大学；亚特兰大退伍军人事务医疗中心）
3. 期刊：eBioMedicine，柳叶刀旗下顶刊，一区top, IF>11
4. 发表年份：2025
5. DOI：10.1016/j.ebiom.2025.105663

二、研究问题与目标

HPV 相关口咽鳞状细胞癌（OPSCC）总体预后较好，但患者仍存在复发、死亡及治疗毒性风险，单纯依赖临床分期难以准确区分适合降阶梯治疗的低风险患者和需要强化治疗的高风险患者。

既往人工智能研究多单独使用 CT 或病理全切片图像（WSI），且常只分析原发肿瘤，尚未充分联合宏观影像、微观病理以及转移性颈部淋巴结信息。

本文目标是建立 Swin Transformer 多模态、多区域融合框架 SMuRF，联合原发肿瘤与颈部淋巴结 CT、原发肿瘤 WSI，预测无病生存（DFS）和肿瘤分级，并验证其相对单模态及简单融合方法的增益。

三、文章创新点

1. 数据创新：在同一患者层面联合术前/治疗前增强 CT 与 H&E 病理 WSI，并在 CT 中同时纳入原发肿瘤和最大转移性颈部淋巴结，形成“跨模态 + 跨肿瘤区域 + 跨尺度”的影像表征。
2. 模型创新：提出 SMuRF 框架，以二维 Swin Transformer 处理病理嵌入、三维 Swin Transformer 分别处理原发灶和淋巴结 CT，通过窗口多头自注意力、移位窗口机制和自注意力池化显式学习不同区域、尺度及模态间的特征交互。
3. 任务创新：采用多任务学习同时输出连续生存风险分数和肿瘤分级结果，以 Cox 部分负对数似然损失和二元交叉熵损失共同监督，提高共享表征的临床相关性。
4. 实验创新：不仅比较单模态与多模态模型，还系统拆分 CT 原发灶、CT 淋巴结和 WSI 的贡献，并在完全相同输入下比较向量拼接、Kronecker 积和注意力池化等融合机制，较好地证明性能提升来自融合设计而非单纯增加数据。
5. 可解释性创新：利用 Integrated Gradients、注意力热图和 SHAP，从像素/组织区域、病理形态和临床变量三个层面解释模型；结果提示原发灶瘤内及瘤周区域、淋巴结内部特征以及肿瘤-胶原纤维界面具有预后价值。

四、研究方法

1. 融合数据类型

本文融合三类相互补充的影像输入：

临床变量（T 分期、N 分期、年龄、性别、吸烟包年和治疗方式）主要用于多变量回归、独立预后价值检验及比较，并不是 SMuRF 主干网络的影像融合输入。

2. 数据预处理

• 病理 WSI：使用 CLAM 工具进行低分辨率组织片段分割，包括二值阈值、中央滤波和形态学闭运算；由病理医师在 QuPath 中标注原发肿瘤。每个组织片段先划分为 2048 × 2048 像素区域，再分为 8 × 8 个 256 × 256 像素图块，并进一步细分为 16 × 16 像素单元。采用在 33 种癌症上预训练的 HIPT（Hierarchical Image Pyramid Transformer）提取从细胞级到组织级的层次特征，最终得到每个片段 192 维嵌入；不同片段尺寸通过动态填充对齐。
• 放射学 CT：由头颈影像医师在 3D Slicer 中逐层勾画原发肿瘤和最大转移性颈部淋巴结。CT 重采样至 1 mm 各向同性分辨率并做强度归一化；两个 ROI 均向外扩展 15 mm 以覆盖瘤周区域。沿 z 轴四个等分区分别随机裁取 4 个 48 × 48 × 3 子体积，推理时固定在各区中部，并使用随机水平和垂直翻转进行增强。

3. 融合层次判断：前融合 / 中融合 / 后融合

主导策略是中融合（Middle fusion / Feature-level fusion）。

病理 WSI 先由 HIPT 和二维 Swin Transformer 编码，原发灶 CT 与淋巴结 CT 则分别进入三维 Swin Transformer 分支；各来源并未在原始像素或模型输入阶段直接堆叠，而是在得到各自的多尺度特征表示后，通过窗口多头自注意力、跨区域交互和自注意力池化在网络内部完成融合，最后才进入多任务预测层。

4. 具体融合方法

1. 病理分支利用 HIPT 将不同图块尺度的表征逐级聚合，再由二维 Swin Transformer 学习不同 WSI 片段之间的区域关系。
2. CT 原发肿瘤与颈部淋巴结使用两个独立的三维 Swin Transformer 分支，保留三维空间语境并学习区域内局部与长程依赖。
3. 每个 Swin Transformer 块包含窗口多头自注意力（W-MSA）、移位窗口多头自注意力（SW-MSA）和 patch merging。移位窗口扩大有效感受野，patch merging 在降低空间分辨率的同时增加通道数，从而形成层次化、多尺度特征。
4. 在 Swin Transformer 逐级降采样过程中进行区域级特征交互；随后使用自注意力池化联合病理微观细胞信息与 CT 宏观解剖信息，得到患者级融合表征。
5. 融合表征输入多任务网络，以 Cox 部分负对数似然损失学习生存风险，以二元交叉熵学习高/低肿瘤分级，最终输出 SMuRF 连续风险分数和分级结果。

5. 模型或技术流程

图 1 展示完整流程：多模态数据整理与人工标注 → WSI/CT 预处理 → HIPT 和二维/三维 Swin Transformer 分支编码 → W-MSA、SW-MSA、patch merging 与自注意力池化 → 生存风险和肿瘤分级双任务输出。

五、实验设计与结果

1. 数据集与实验设置

研究回顾性纳入 Cleveland Clinic Foundation（CCF，230 例）和 Winship Cancer Institute（47 例）共 277 例非转移性 HPV 相关 OPSCC 患者，均具有匹配的治疗前头颈增强 CT、H&E 病理 WSI、临床和随访资料。患者随机分为训练集 120 例、验证集 52 例和测试集 105 例；论文将 105 例称作 internal test set，而非独立外部验证队列。

主要终点为 DFS，次要终点包括 OS 和肿瘤分级。训练集 SMuRF 中位值 0.5 被固定为高、低风险分组阈值。外部测试数据在模型最终锁定前保持盲态，超参数通过验证集选择。

2. 对比方法

• 单一 CT 淋巴结模型；
• 单一 CT 原发肿瘤模型；
• CT 原发肿瘤 + 淋巴结模型；
• CT 淋巴结 + 病理 WSI 模型；
• CT 原发肿瘤 + 病理 WSI 模型；
• 单一病理 WSI 模型；
• 完整 SMuRF（CT 原发肿瘤 + CT 淋巴结 + 病理 WSI）；
• 在相同多模态、多区域输入下，比较向量拼接、Kronecker 积、自注意力池化（SMuRF）及 Kronecker 积 + 自注意力池化四种融合方案；
• 另与仅含临床因素的 Cox/Logistic 模型进行比较。

3. 评价指标

• 生存预测：Harrell C-index、Kaplan-Meier 曲线、log-rank 检验、3 年 DFS 率、多变量 Cox 回归的 HR 与 95% CI；
• 肿瘤分级：ROC-AUC、多变量 Logistic 回归的 OR 与 95% CI；
• 独立性与解释性：SHAP 全局变量重要性、Integrated Gradients 影像归因图、病理注意力热图及 t-SNE；
• 显著性阈值：p < 0.05。

4. 主要实验结果

SMuRF 在测试集上取得 DFS 预测 C-index 0.79、肿瘤分级 AUC 0.74，均优于单模态及简单融合模型。其可显著区分高低风险患者，两组 3 年 DFS 率分别为 54% 和 92%，且在校正临床因素后仍是独立预后指标。